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2014 年 年 初 ， 正 值 学 期 结束 之 际 ， 工 作 比 较 忙 ， 束 利用 这 次 从 银川 飞 往 上 
海 的 途中 ， 完 成 了 一 项 非常 有 意义 却 很 有 挑战 的 任务 ， 为 微软 总 部 资深 测 
试 工 程 师 史 亮 博士 所 车 的 《软件 测试 实战 》 写 序 。 飞 机 上 没有 网 络 、 电 
话 ， 倒 是 一 个 很 封闭 、 不 受 干 扰 的 session， 可 以 集中 注意 力 做 好 一 件 事 ; 
从 另 一 个 方面 看 ， 也 说 明 自 己 对 写 此 序 非常 重视 ， 和 希望 不 愧 对 朋友 所 托 ， 
能 够 较 好 地 完成 这 一 “艰巨 ”的 任务 。 


差不多 两 年 前 ， 我 也 曾 为 作者 和 高 翔 所 闭 的 《探索 式 测 试 实践 之 路 》 一 书 
写 过 序 ， 但 这 本 新 书 有 很 大 不 同 ， 涉 猎 之 广 几 乎 覆盖 了 测试 工作 各 个 方 
面 ， 从 缺陷 报告 、 测 试 建 模 、 测 试 需求 分 析 与 设计 到 团队 建设 、 个 人 管理 


等 。 从 单一 测试 方式 的 测试 实践 走向 全 面 的 软件 测试 实践 之 路 ， 这 期 间 需 
更 多 的 积累 ， 需 要 更 高 、 更 广 的 视野 ， 由 此 体现 出 作者 全 面 的 测试 知 
TA > TREY Ee AE Zee ANB AMAA, AR Sor, MEINE 
者 的 指导 体贴 入 微 ， 循 序 渐进 地 给 予 具体 的 示范 性 操作 。 例 如 ， 通 过 一 周 
的 测试 过 程 指 导 测 试 人 员 如 何 做 好 具体 的 测试 工作 。 本 书 侧重 测试 实践 ， 
如 在 讨论 “面向 调试 的 测试 代码 *”、“ 系 统 测 试 的 测试 开发 "时 ， 把 作者 自己 实 
践 过 的 经 验 一 条 一 条 地 摊 出 来 展开 讨论 ， 并 通过 列 出 测试 人 员 容 易 页 到 的 
问题 ， 逐 条 解答 ， 以 帮助 读者 解决 一 些 复 杂 的 测试 难题 ， 如 根据 语 境 (上 
下 文 ) 如 何 完善 组 合 测试 的 模型 、 启 发 式 测 试 Oracle 应 用 等 。 本 书 还 介绍 了 
一 些 新 的 测试 概念 或 方法 ， 如 大 规模 自动 化 测试 (HiVAT) ， 系 统 生态 图 的 
应 用 ， 风 险 管理 中 的 长 回路 、 短 回路 等 。 除 此 之 外 ， 我 们 还 能 从 本 书 学 习 
到 大 量 测试 想法 、 清 晰 的 测试 逻辑 思维 、 各 种 测试 方法 等 ， 极 大 地 增强 我 
们 的 测试 技能 。 
近 几 年 ， 作 者 在 美国 微软 公司 总 部 工作 ， 本 书 分 享 的 思想 、 方 法 和 经 验 多 
数 来 目 于 软件 业 最 发 达 的 欧美 ， 吸 收 了 不 少 欧美 测试 大 师 的 卓越 思想 和 优 
秀 实 践 ， 引 用 了 近 百 项 资料 文献 ， 所 有 文献 都 是 英文 的 ， 时 间 跨 度 也 很 
长 ， 从 1972 年 到 2012 年 ， 长 达 40 多 年 。 可 以 这 样 说 ， 本 书 为 我 们 省 去 了 阅 
读 国外 文献 的 大 量 时 间 ， 仅 从 这 一 点 来 看 ， 这 本 书 也 极 具 价 值 ， 更 何况 本 
书 对 一 批 测试 大 师 的 希 茵 进行 了 提炼 ， 并 应 用 到 实际 的 案例 中 。 这 些 测试 
大 师 包括 我 们 熟知 的 James Bach ` Jonathan Bach ` Cem Kaner ` Michael 
Bolton ` James Whittaker ` Elisabeth Hendrickson ` Rikard Edgren ` Harry 
Robinson， 等 等 。 因 此 ， 本 书籍 此 分 享 了 他 们 贡献 给 测试 知识 宝库 的 一 些 精 
ENX, W: 

。 产品 人 研究 的 7 大 元 素 SFDAPOT; 
启发 式 测试 计划 语 境 (上下文 ) 模型 HTPCM ; 
启发 式 测试 策略 模型 (HTSM) ; 
。 探索 式 测试 管理 方法 SBTM (Session-Based Test Management) ; 
测试 技术 分 类 体系 ; 
敏捷 四 象限 、 测 试 自动 化 金字 塔 ; 
。 基于 缺陷 模型 的 快速 测试 方法 ; 
。 基 于 部 署 图 的 测试 指导 词 ，; 


yE 


。 测试 Oracle 指 导 词 FEW HICCUPPS 。 


软件 测试 不 同 于 硬件 测试 ， 不 仅 在 于 软件 的 复杂 性 、 软 件 需求 的 善 变 性 ， 
而 且 在 于 软件 的 社会 性 ， 在 一 个 软件 中 融入 了 更 多 的 社会 因素 ， 如 不 同 用 
户 的 软件 应 用 体验 、 受 业务 环境 影响 的 业务 操作 、 受 人 们 心理 影响 的 业务 
逻辑 变化 。 基 于 这 样 的 背景 ， 基 于 上 下 文 驱动 测试 (Context-driven test) 的 
方法 体系 引起 人 们 足够 的 重视 ， 我 也 深 感 作者 受 这 个 体系 (以 James Bach ` 
Cem Kaner、Michael Bolton 等 为 代表 的 流派 ) 的 影响 比较 大 ， 包 括 对 软件 测 
试 的 理解 ， 更 倾向 于 这 样 的 观点 测试 是 一 种 服务 测试 人 员 通 过 服务 团队 
来 体现 自己 的 价值 ， 测 试 是 一 种 技术 调查 ， 其 目的 是 向 干系 人 提供 有 关 产 
品质 量 的 实验 消息 。 本 书 依旧 继承 了 《探索 式 测试 实践 之 路 》 的 测试 思 
想 ， 在 测试 技术 这 一 章 ， 并 没有 讨论 功能 测试 和 性 能 测试 的 传统 方法 和 技 
术 ， 而 更 多 是 从 * 上 下 文 驱动 学 派 ” 的 启发 式 测试 策略 、 快 速 测 试 、 探 索 式 
测试 等 方式 方法 出 发 ， 来 介绍 测试 技术 ， 包 括 情 景 测 试 、 漫 游 测 试 、 肥 所 
剧 测试 等 技术 ， 使 测试 更 有 趣 ， 更 能 适应 软件 测试 的 社会 性 。 


本 书 从 缺陷 报告 开始 讨论 ， 虽 然 编排 不 同 于 一 般 的 测试 书籍 ， 但 也 合乎 逻 
辑 ， 缺 陷 发 现 和 报告 是 一 个 测试 人 的 基本 能 力 。 基 于 时 间 和 方法 技术 的 限 
制 ， 一 般 应 用 系统 的 测试 还 无 法 做 到 百分之百 的 测试 ， 所 以 迫使 人 们 常常 
从 反 向 思维 角度 思考 测试 ， 就 是 尽 可 能 发 现 缺陷 ， 缺 陷 发 现 越 多 且 能 被 修 
复 ， 产 品质 量 惑 越 高 。 从 这 一 思维 方式 出 发 ， 发 现 缺陷 是 软件 测试 的 基本 
目标 之 一 ， 或 者 说 ， 发 现 缺陷 的 测试 是 成 功 的 测试 。 作 者 在 书 中 分 享 了 自 
己 的 真知 灼 见 ， 如 高 质量 的 缺陷 报告 来 目 于 高 质量 的 测试 。 


当 敏 捷 开 发 席卷 世界 时 ， 人 们 对 文档 重视 程度 越 来 越 低 的 时 候 ， 本 书 把 测 
试 文档 放 在 很 重要 的 地 位 ， 体 现 了 作者 的 独立 思考 和 务实 的 态度 ， 不 随 波 
逐 流 ， 从 测试 目 喘 要 求 出 发 ， 强 调 “ 测 试 文档 十 持续 演化 的 工具 ”"， 把 探索 
式 测 试 的 思想 “ 测 斌 设计、 执行、 评估 (分 析 ) 、 学 习 ” 应 用 到 文档 的 改进 
和 维护 中 ， 并 通过 从 测试 计划 、 设 计 规 约 、 检 查 列表 到 各 种 形形色色 文档 
的 介绍 ， 也 让 读者 更 全 面 、 更 深刻 地 理解 软件 测试 。 其 次 ， 已 有 测试 书籍 
对 测试 建 模 及 其 应 用 介绍 都 比较 少 ， 但 本 书 不 仅 在 第 4 章 用 一 章 的 篇 幅 来 介 
绍 各 种 测试 建 模 方法 及 其 应 用 ， 而 且 在 第 3 章 、 第 7 章 等 都 有 所 涉及 ， 揭 开 
了 测试 建 模 的 神秘 面纱 ， 让 测试 人 员 不 再 拒 测试 建 模 于 千里 之 外 ， 促 进 测 
试 人 员 在 日 常 测 试 工作 中 能 够 习惯 地 运用 测试 建 模 来 解决 复杂 系统 的 测试 
问题 ， 不 断 地 改进 测试 。 


目 动 化 测试 永远 是 软件 测试 的 核心 主题 之 一 ， 本 书 也 不 例外 ， 谈 到 目 动 化 

测试 策略 和 实践 ， 如 用 了 较 多 篇 幅 讨论 面 回 调试 的 测试 代码 、 系 统 级 别 
(包括 系统 GUI 测试 ) 的 自动 化 测试 开发 。 但 是 ， 作 者 用 了 更 大 篇 幅 来 研 

完 “ 产 品 ” 和 “项 目 ”， 因 为 这 些 的 确 是 测试 的 基础 ， 产 品 是 测试 的 对 象 ， 不 能 


T 


真正 理解 产品 、 不 熟悉 产品 功能 特性 和 技术 实现 ， 测 试 是 不 可 能 做 好 的 ; 
而 每 个 要 执行 的 测试 任务 都 是 为 了 达到 测试 目标 ， 而 测试 目标 及 其 实现 都 
直接 和 其 项 目的 环境 因素 相关 联 。 


我 在 阅读 本 书 时 ， 不 仅 产 生 了 上 述 这 么 多 的 共 吗 ， 而 且 还 有 更 多 的 收获 和 
体会 。 例 如 ， 在 阅读 8.2 节 内 容 时 ， 束 义 起 了 我 在 webex 工 作 的 某 些 回 忆 。 当 
初 我 们 使 用 目 己 开发 的 项 目 和 缺陷 管理 系统 QAForum， 这 个 系统 有 一 个 很 
大 的 优点 ， 束 是 用 户 可 以 写 SQL 语 句 ， 构 造 目 己 想 雪 的 任何 形式 的 、 有 灵活 
抽取 不 同 数据 的 缺陷 报告 。 


最 后 ， 硕 望 读者 在 阅读 本 书 时 能 有 更 多 的 思考 ， 区 很 据 本 书 的 指引 ， 阅读 
相关 的 资料 ， 进 一 步 地 思考 、 实 践 、 再 思考 、 表 实践 ， 一 定 会 受益 匪 浅 。 


朱 少 民 
同济 大 学 软件 学 院 教授 


推荐 序 二 


非常 采 笠 受 邀 为 史 亮 的 这 本 新 书 作 序 。 军 无 疑问 ， 史 亮 是 一 位 优秀 的 思考 
者 ， 从 本 书信 手 招来 的 各 种 案例 中 莽 能 够 清楚 地 看 到 这 一 点 : 从 离开 某 项 
目 后 其 他 人 接手 的 困难 中 ， 史 有 亮 思考 和 总 结 出 了 测试 工程 师 工 作 的 依赖 

性 ， 从 代码 覆盖 的 案例 中 引申 出 覆 孔 率 的 作用 和 陷阱 .…... 能 够 在 国内 的 测 
试 领域 看 到 这 样 一 本 真正 以 个 人 思考 为 主 的 原创 性 图 书 ， 实 属 不 易 。 我 相 
信和 史 腕 非常 好 地 贯彻 了 他 在 书 中 “ 且 行 且 思 ”这 一 节 中 提 到 的 理念 :一方 

面 ， 它 暗示 软件 人 员 的 职业 生涯 是 “漫漫 长 路 ”"， 需 要 坚持 不 懈 地 跋涉 ， 男 
一 方面 ， 它 指出 持续 的 努力 应 该 伴随 持续 的 思考 ， 执 行 与 反思 缺 一 不 可 。 


我 从 1998 年 偶然 进入 软件 测试 领域 ， 在 其 中 投入 了 十 多 年 的 精力 ， 对 软件 
测试 的 不 少 方 同 都 有 所 涉及 ， 期 间 经 历 过 多 种 类 型 的 项 目 ， 和 不 同 的 人 员 
合作 过 ， 壬 试 过 各 种 测试 技术 和 方法 。 虽 然 从 2011 年 起 软件 测试 不 再 古 我 
的 主要 方向 ， 但 我 有 幸 经 历 了 中 国 的 软件 测试 行业 迅速 发 展 的 十 年 ， 对 于 
软件 测试 本 身 有 着 自己 的 一 些 理 解 和 思考 。 


当然 ， 即使 在 这 个 行业 投入 了 二 多 年 的 时 间 ， 我 仍然 无 添 为 “该 上 息 么 做 软件 
测试 ”这 个 问题 给 出 位 单 明 确 的 回答 。 从 2011 年 开始 ， 我 的 主要 角色 变 成 了 
互联 网 组 织 的 整个 研发 团队 的 管理 者 ， 这 个 位 置 使 得 我 可 以 不 再 站 在 一 个 


纯粹 测试 者 的 角度 看 待 问题 。 站 在 组 织 的 角度 看 待 测试 ， 最 关心 的 问题 不 
再 是 “该 起 么 做 软件 测试 ?"， 而 是 “软件 测试 该 如 何 促 进 组 织 *”。 以 促进 组 织 
(生产 率 等 ) 为 目标 的 测试 ， 自 然 不 仅仅 需要 测试 工程 师 的 工作 ， 还 需要 
开发 工程 师 、 产 品 经 理 等 各 种 角色 共同 参与 进来 。 有 代表 性 的 互联 网 企业 
(如 Google、Facebook) 不 约 而 同 地 采用 了 小 规模 的 测试 团队 (甚至 不 设置 
单独 的 测试 团队 ) ， 越 来 越 多 的 开发 工程 师 开 始 关注 测试 和 强调 测试 技能 
(包括 对 可 测试 性 的 关注 ) 。 在 这 样 的 趋势 之 下 ， 现 有 测试 行业 的 主要 从 
业者 一 一 测试 工程 师 自然 会 面临 压力 和 机 过。 压力 不 言 而 喻 :来自 组 织 和 
开发 者 的 更 高 期 得 使 得 测试 工程 师 不 得 不 具有 更 全 面 的 视野 、 更 扎实 的 技 
术 能 力 ， 以 及 更 有 价值 的 产 出 ;而 机 遇 ， 则 是 测试 工程 师 可 以 有 机 会 摆脱 
六 以 来 圈 住 目 己 的 “发 现 缺陷 ”的 定位 ， 真 真正 正 地 为 组 织 创造 更 大 的 价 


然而 , “创造 真正 的 价值 ?需要 测试 工程 师 系统 的 能 力 ， 仅 靠 亦 步 亦 趋 地 跟 
随 某 个 流程 无 法 达成 ;幻想 通过 盖世 神 兵 〈 某 个 工具 ) 或 是 幻想 掉 下 山崖 
拿 到 神秘 的 内 功 心 法 也 无 法 达成 。 有 人 说 测试 工程 师 是 个 “ 越 老 越 吃香 ”的 
行业 ， 我 却 要 说 ， 这 个 行业 需要 的 不 是 资历 ， 而 是 "经验 ”。 即 使 你 把 手头 
上 的 工作 重复 十 年 ， 没 有 思考 ， 不 经 过 系统 的 学 习 和 提炼 ， 你 的 经 历 永远 
只 能 是 低层 次 的 重复 而 已 。 该 如 何 学 习 ? 该 如 何 思考 ? 该 如 何 系统 化 你 的 


经 答 ? 


不 得 不 说 ， 束 我 看 到 的 状况 而 言 ， 大 部 分 测试 工程 师 还 并 未 理解 这 个 巨大 
的 转变 。 仍 然 有 不 少 人 认为 测试 吏 是 根据 流程 完成 任务 ， 或 是 仍然 执着 于 
测试 与 开发 的 界限 ， 画 地 为 牢 地 守 着 那些 可 怜 巴 巴 的 “测试 技术 ”。 从 这 个 
意义 上 说 ， 史 亮 这 本 书 适 逢 其 时 ， 它 不 是 一 本 以 说 教 口吻 教 你 "该 如 何 一 步 
一 步 做 好 测试 ”的 书 ， 也 不 是 一 本 告诉 你 测试 领域 又 出 现 了 多 少 新 名 词 的 
0 和 你 分 享 一 个 在 测试 行业 勤 于 思考 的 人 对 测试 
J 理解 。 


这 本 书 不 是 一 本 让 你 用 来 模仿 的 书 ， 而 是 一 本 让 你 有 所 思考 的 书 。 史 腕 在 
本 书 中 和 盘 托 出 的 ， 不 是 自己 的 武功 招式 ， 而 是 自己 的 心 法 。 如 采 想 要 从 
本 书 中 得 到 最 大 的 价值 ， 我 建议 你 静 下 心 来 ， 仔 细 品 读 史 亮 在 本 书 中 娓 九 
道 来 的 思考 ， 在 他 的 市 领 下 ， 和 他 一 起 领略 思考 的 乐趣 吧 。 


Ss 
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推荐 序 三 


我 和 史 腕 从 2009 年 束 认 识 了 ， 对 于 史 腕 在 测试 技术 上 的 钻研 精神 我 非常 僻 
佩 。 前 两 年 我 有 洱 和 史 膏 合作 一 起 编写 《探索 式 测 试 实践 之 路 》 一 书 ,在 
那 段 测 试 技术 交流 的 日 子 里 ， 史 腕 对 于 软件 测试 的 前 党 测 试 技术 和 测试 理 
念 的 理解 让 我 印象 非常 深刻 。 他 还 积极 地 在 工作 中 实践 最 新 的 测试 拉 术 ， 
分 享 自己 的 心得 体会 ,一直 是 我 学 习 的 榜样 。 


通过 查看 这 本 书 的 参考 文献 融 知 道 ， 史 亮 很 认真 地 编写 这 本 关于 软件 测试 
技术 的 实战 书籍 ， 我 也 仔细 地 阅读 了 该 书 相关 章节 ， 最 大 的 感受 就 是 这 本 
书 的 可 操作 性 比较 强 ， 与 传统 测试 书籍 的 理论 知识 较 多 而 实际 案例 较 少 相 
比 ， 这 本 书 更 能 让 我 们 体会 到 理论 和 实践 的 相互 结合 和 相辅相成 的 关系 。 

史 腕 在 微软 美国 总 部 接触 到 了 这 么 多 前 沿 的 测试 搁 术 和 理论 并 将 它们 付 诸 
实践 ， 这 些 宝 吐 的 经 验 都 沉甸甸 地 包含 在 这 本 书 里 ， 特 别 是 第 4 草 的 建 模 技 
术 和 第 5 章 的 测试 分 析 技术 ， 史 亮 将 业界 大 部 分 测试 技术 和 分 析 方 法 通过 简 
单 实用 的 方式 摘 述 出 来 ， 方 便 读 者 学 习 和 应 用 。 我 认为 ， 读 者 看 了 这 本 

《软件 测试 实战 》 后 ，80% 的 软件 测试 书籍 和 测试 文章 都 可 以 不 用 再 去 阅读 
人 


史 腕 不 仅 在 测试 开发 和 测试 管理 上 有 目 己 的 独特 见解 ， 也 赦 于 在 工作 过 程 
中 思考 如 何 更 好 地 做 软件 测试 ， 如 何 更 好 地 分 析 产 品 、 提 高 测试 效率 。 我 
和 史 亮 都 认为 ， 软 件 测 斌 分机、 设计 、 管理 在 整个 项 目 周期 中 是 个 动态 的 
过 程 ， 并 且 存 在 较 好 的 手段 来 提高 和 控制 这 个 动态 过 程 ，《 软 件 测试 实 
战 》 将 告诉 读者 如 何 更 好 地 控制 和 提升 整个 动态 过 程 。 同 时 这 本 书 也 传递 
了 这 样 一 种 理念 : 软件 测试 不 仅仅 是 测试 工程 师 的 个 人 舞台 ， 更 需要 和 项 
目 团队 、 被 测 项 目 /产品 、 个 人 管理 充分 融合 和 激 润 ， 才 能 完美 地 体现 软件 
测试 的 价值 。 


目前 国内 的 很 多 大 公司 都 有 测试 开发 工程 师 这 个 岗位 ， 但 是 很 多 人 会 认为 
测试 开 发 工程 师 更 多 的 是 从 事 开发 的 工作 ， 而 不 是 测试 的 工作 。 史 亮 将 目 
己 在 微软 总 部 的 亲 号 实践 经 历 告 诉 读者 ， 如 何 来 理解 测试 和 开发 的 关系 ， 
如 何 把 测试 开发 工作 效益 最 大 化 ， 如 何 做 有 效 的 目 动 化 测试 ， 而 不 是 言 目 
的 目 动 化 测试 。 


最 后 ， 我 极力 推荐 这 本 《软件 测试 实战 》， 因 为 它 不 仅 会 让 你 学 习 到 最 新 
的 测试 搁 术 和 实践 成 末 ， 而 且 会 让 你 体会 和 理解 一 个 在 测试 技术 上 不 断 突 
破 目 我 的 工程 师 的 心路 历程 。 


高 翔 
淘宝 资深 测试 工程 师 ，《 探 索 式 测试 实践 之 路 》 合 著者 


Hs 


我 在 攻读 博士 学 位 时 开始 研究 软件 测试 ， 毕 业 后 一 直 任 职 测 试 工程 师 ， 从 
事 第 一 线 的 测试 工作 ， 不 知 不 觉 已 有 十 余年 的 光阴 。 在 此 期 间 ， 我 阅读 过 
大 量 的 测试 文献 ， 参 与 过 多 个 不 同类 型 的 测试 项 目 ， 既 学 到 了 许多 有 价值 
的 方法 ， 也 观察 到 了 一 些 不 太 有 效 的 实践 ， 既 通过 努力 获得 过 成 功 的 经 
验 ， 也 从 错误 中 得 到 了 宝贵 的 教训 。 随 着 经 历 的 增长 ， 我 渐渐 构建 出 目 己 
的 知识 体系 ， 从 实践 中 打磨 出 一 批 指导 测试 工作 的 策略 与 经 验 。 自 然而 
然 ， 一 个 朴素 的 想法 浮现 出 来 : 如 果 将 我 的 所 学 所 知 分 享 给 更 多 的 测试 工 
程 师 ， 想 必 能 帮助 他 们 节省 学 习 与 积累 的 时 间 ， 以 更 快 地 提高 测试 水 平 。 
在 该 想法 的 红 动 下 ， 我 广泛 地 阅读 了 测试 文献 ， 深 入 地 反思 了 目 己 的 实 
践 ， 并 开始 了 漫长 的 写作 。 成 末 束 是 您 所 读 到 的 这 本 书 。 


本 书 分 享 了 我 从 事 软 件 测试 工作 所 学 到 的 知识 和 所 总 结 的 经 验 ， 下 在 帮助 
测试 人 员 建 立正 确 的 观念 ， 并 掌握 一 批 切合 实战 的 测试 技术 。 一 方面 ， 我 
总 结 了 测试 专家 的 见解 和 方法 ， 将 其 精华 oe ae 以 帮助 读 
A EMETA 、 快速 地 掌握 综合 性 的 技能 。 男 一 方面 ， 我 努力 将 自己 的 
经 验 和 反思 融入 书稿 ， 使 它 反映 量 我 在 工作 中 使 用 的 策 洛 、 方法 和 技巧 。 
总 之 ， 这 是 一 本 注重 实效 的 书 ， 尝 试用 理论 结合 实践 的 方式 来 解决 现实 的 


问题 。 


本 书 的 组 织 方式 


在 概述 一 些 基本 测试 观点 (第 1 章 ) 之 后 ， 本 书 按照 “启发 式 测试 策略 模 
W» (04.217) 的 基本 元 素来 展开 论述 : 观察 到 的 质量 (第 2 章 ) > M 
试 设计 (第 3、4、5、6 章 ) 、 产 品 元 素 (第 7 章 ) 和 项 目 环 境 (第 8 章 ) 。 
E T 
2 


。 第 1 章 阐述 我 对 软件 测试 的 基本 观点 ， 介 绍 了 我 的 测试 价值 观 。 作 为 指 


导 原则 ， 它 们 将 贯穿 全 书 的 内 容 。 


第 2 章 讨论 了 测试 人 员 最 主要 的 工作 产 出 一 一 缺陷 报告 ， 介 绍 了 一 批 实 
践 方法 ， 帮 助 测试 人 员 高 质量 地 报告 缺陷 ， 并 利用 该 过 程 来 改进 测试 


设计 。 


第 3 章 讨论 作为 测试 辅助 工具 的 测试 文档 ， 介 绍 了 一 些 编写 和 维护 文档 
的 原则 和 方法 。 通 过 分 析 一 批 具 体 的 测试 文档， 展示 出 测试 设计 的 适 
代 性 和 多 样 性 。 


第 4 章 介绍 指导 测试 设计 的 模型 ， 通 过 应 用 组 合 测试 ， 盖 述 了 如 何 根据 
项 目 语 境 来 完善 测试 模型 ， 然 后 介绍 了 测试 建 模 的 基本 原则 和 常用 广 
法 。 


第 5 章 介 绍 一 个 测试 技术 分 类 系统 ， 以 概览 各 类 测 斌 技术。 然后， 讨论 
了 一 批 有 价值 的 测试 技术 ， 包 括 局 发 式 测试 先知 、 漫 游 测试 、 快 速 测 
试 、 情 景 测试 等 。 在 此 基础 上 ， 强 调 了 测试 人 员 应 该 多 样 地 选择 测试 
技术 ， 以 动态 地 优化 测试 的 价值 。 


第 6 章 讨 论 了 测试 开发 的 基本 分 类 ， 然 后 针对 自动 化 测试 、 计 算 机 辅助 
测试 和 大 规模 目 动 化 测试 ， 阐 述 了 它们 的 基本 概念 、 设 计 目 标 、 开 发 
策略 和 实 作 方 法 。 
第 7 章 讨 论 如 何 从 测试 视角 来 研究 软件 产品 和 业务 领域 ， 介 绍 了 静态 分 
析 、 动 态 分析 、 关 系 人 研究 、 需 求 评 审 、 测 试 调查 、 网 络 调研 、 领 域 
研究 等 研究 方法 。 


第 8 章 讨 论 如 何 从 测试 视角 来 研究 项 目 环境 ， 介 绍 了 团队 分 析 、 缺 陷 分 
人 
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第 9 章 探 讨 测试 人 员 如 何 有 效 地 在 团队 中 工作 ， 以 及 如 何 恰 当地 实施 测 
试管 理 。 针 对 一 些 冲 见 任务 ， 如 小 组 协作 、 测 试 计划 、 工 作 量 估算 、 
软件 度量 等 ， 提 出 了 一 批注 重 实 效 的 方法 。 

第 10 章 分 享 了 我 实施 个 人 管理 的 基本 方法 ， 包 含 时 间 管 理 、 个 人 学 
习 、 经 验 积 素 、 专 业 发 展 等 。 


目标 读者 


本 书 的 主要 读者 是 具备 一 定 测试 经 验 、 想 要 进一步 提高 测试 能 力 的 测试 工 
程 师 。 全 书 综合 了 测试 行家 的 专业 建议 和 我 的 实践 经 验 ， 探 讨 了 测试 价值 


观 、 测 斌 设计、 产品 研究 、 项 目 人 研究 、 团 队 协 作 、 个 人 管理 等 多 个 方面 ， 

能 够 帮助 读者 更 好 地 理解 软件 测试 ， 并 提高 实践 水 平 。 本 书 的 内 容 面 癌 广 
大 的 测试 社区 ， 并 不 要 求 读者 掌握 特定 的 至 景 知识 。 我 希望 它 能 够 适合 

多 数 测试 人 员 ， 并 通过 解决 现实 问题 来 引起 读者 的 共鸣 。 


此 外 ， 本 书 是 很 好 的 软件 工程 课程 、 软 件 测试 课程 和 测试 培训 的 参考 资 
料 ， 能 帮助 本 科 生 、 研 究 生 和 测试 学 员 更 好 地 理解 真实 的 软件 测试 。 一 些 
测试 人 员 在 工作 后 会 发 现 ， 课 程 教材 和 培训 教程 所 描述 的 内 容 并 不 切合 实 
际 的 测 斌 工作。 例如， 课本 中 的 测试 设计 和 执行 是 线性 实施 的 ， 真 实测 试 
TEAL; 缺陷 报告 第 党 是 测试 工作 的 核心 产 出 ， 教 材 却 没 有 
讨论 如 何 有 效 地 管理 缺陷 报告 ; 测试 人 员 被 要 求 所 写 文档 ， 其 成 采 又 被 束 
之 高 赔 ， 却 少 有 教程 讨论 如 何 编写 有 价值 的 文档 。 这 时 ， 他 们 可 以 参考 本 
书 所 提出 的 建议 ， 从 而 发 展 出 更 有 效 的 工作 策略 。 


如 何 阅读 本 书 


本 书 第 1 章 讨论 软件 测试 的 基本 事实 和 价值 观 ， 是 全 书 内 容 的 基础 ， 需 要 首 
先 阅 读 。 在 读 完 第 1 章 后 ， 读 者 可 以 按 任意 顺序 阅读 本 书 。 您 既 可 以 顺序 浏 
览 ， 以 概观 软件 测试 ， 也 可 以 有 选择 地 阅读 感 兴趣 的 章 厂 ， 并 在 阅读 的 过 
程 中 参考 相关 内 容 。 


这 是 一 本 关于 实践 的 书 ， 许 多 建议 和 方法 来 目 于 实践 。 软 件 开发 专家 Ralph 
E. Johnson 指出 , “从 实践 中 来 的 知识 在 没有 实践 之 前 是 无 法 被 真正 理解 

的 ” (practical knowledge has to be experienced to fully understood) ， 测 试 专 
家 Cem Kaner ` James Bach 等 也 认为 “你 不 能 掌握 测试 ， 除 非 你 重新 发 明 

它 ” (You can't master testing unless you reinvent it) 。 在 阅读 过 程 中 ， 读 者 需 
要 积极 思考 本 书 的 方法 是 否 适 用 于 上 自己 的 项 目 ， 然 后 将 恰当 的 方法 应 用 于 
真实 的 测试 ， 并 认真 评估 其 效果 。 通 过 练习 、 评 估 和 反思 ， 读 者 能 够 掌握 
方法 的 原理 和 细 方 ， 并 混入 目 喘 经 验 和 其 他 技术 ， 以 演化 出 新 的 方法 。 坚 
持 这 样 的 研究 和 创 狐 将 帮助 测试 人 员 走 上 精通 之 路 。 
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Bik 软件 测试 基础 


本 章 将 六 述 一 些 软件 测试 的 基本 观点 ， 它 们 征 全 书 的 基石 。 虽 然 它 们 并 没 
有 得 到 所 有 人 的 认可 ， 但 是 我 认为 它们 反映 了 软件 测试 的 基本 事实 。 测 试 
员 需 要 仔细 分 析 它 们 ， 并 用 于 实践 ， 才 能 有 效 地 实施 软件 测试 。 


11 软件 的 复杂 度 已 经 超越 了 人 的 理解 能 力 


必 应 词典 ? 是 我 常用 的 一 款 桌 面 软件 (如 图 1-1 所 示 ) ， 它 将 用 户 输入 的 英 
文 单词 发 送 给 必 应 服务 器 ， 然 后 接受 服务 器 所 返回 的 中 文 解释 ， 最 后 将 中 
译 显示 在 界面 上 。 


1 http://dict.bing.msn.cn 
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图 1-1 必 应 词典 


必 应 词典 是 一 个 .NET 程 序 *。 它 会 启动 一 个 专属 线程 来 接受 服务 器 的 返回 结 
果 ， 其 托管 代码 (managed code) 的 调用 栈 类 如 代码 清单 1-1 所 示 。 


? 本 章 讨论 的 是 必 应 词典 1.7 版 。 自 2.0 版 开始 ， 必 应 词典 的 主 程序 (BingDict.exe) 不 再 是 .NET 程 
序 ， 而 是 C/C++ 程序 。 


代码 清单 1-1 ” 必 应 词典 的 调用 栈 


System.Net.UnsafeNclNativeMethods+0SSOCK.recv(IntPtr, Byte*, Int32, 
System.Net.Sockets.SocketFlags) 
System.Net.Sockets.Socket.Receive(Byte[], Int32, Int32, 
System.Net.Sockets.SocketFlags, System.Net.Sockets.SocketError ByRef ) 
System.Net.Sockets.Socket.Receive(Byte[], Int32, Int32, 
System.Net.Sockets.SocketFlags) 
System.Net.Sockets.NetworkStream.Read(Byte[], Int32, Int32) 
System.Net.PooledStream.Read(Byte[], Int32, Int32) 
System.Net.Connection.SyncRead(System.Net.HttpwebRequest, Boolean, 
Boolean) 

System.Net.Connection.PollAndRead(System.Net.HttpWebRequest, Boolean) 


System.Net.ConnectStream.PollAndRead (Boolean) 

System.Net.HttpWebRequest .EndWriteHeaders( Boolean) 
System.Net.HttpWebRequest .WriteHeadersCallback(System.Net.WebExceptions 
tatus, System.Net.ConnectStream, Boolean) 
System.Net.ConnectStream.WriteHeaders(Boolean) 
System.Net.HttpWebRequest .EndSubmitRequest ( ) 

System.Net.HttpWebRequest .CheckDeferredCallDone(System.Net.ConnectStrea 


System.Net.HttpWebRequest.GetResponse( ) 

System.Web. Services.Protocols.WebClientProtocol.GetwebResponse 
(System.Net.WebRequest ) 
System.Web.Services.Protocols.HttpwebClientProtocol.GetwebResponse 
(System. Net .WebRequest ) 
System.Web.Services.Protocols.SoapHttpClientProtocol.Invoke(System.Stri 
ng, System.Object[]) 
Engkoo.Ehc.Core.EhcAPI.EhcDataServicev1.GetEditModeResult (System.String 
, System.String, System.String, System.String, Int32, Boolean) 
Engkoo.Ehc.Core.OnlineDictionaryV2.ProcessEditRequest(DataRequest ) 
Engkoo.Ehc.Core.OnlineDictionaryV2.AsyncProc() 

System. Threading. ThreadHelper . ThreadStart_Context (System.Object) 
System. Threading. ExecutionContext.runTryCode(System. Object ) 
[HelperMethodFrame_PROTECTOBJ: Oda8f3f8] 


System.Runtime.CompilerServices.RuntimeHelpers.ExecuteCodewithGuarantee 
dCleanup 

(TryCode, CleanupCode, System.Object) 
System. Threading.ExecutionContext.RunInternal(System.Threading.Executio 
nContext, System.Threading.ContextCallback, System.Object) 
System. Threading.ExecutionContext.Run(System. Threading. ExecutionContext 
, System.Threading.ContextCallback, System.Object) 
System. Threading. ThreadHelper.ThreadStart( ) 


该 调用 栈 涉 及 26 个 函数 ， 使 用 了 一 些 典 型 的 开发 技术 ， 具 体 如 下 所 示 。 


。 Socket 通 信 (System.Net.Socket ) 


。HTTP 通 信 (System.Net .HttpWebRequest ) 


。 SOAP 通 信 协 议 
(System.Web.Services.Protocols.SoapHttpClientProto 
col ) 


。 异 步调 用 
(Engkoo.Ehc.Core.OnlineDictionaryV2.AsyncProc ) 


。 线 程 (System.Threading ) 


随 着 开发 技术 的 发 展 ， 现 在 开发 人 员 不 必 理 解 这 些 技术 细 市 ， 只 要 调用 程 
序 库 ， 就 可 以 完成 客户 端 ( 必 应 词典 与 服务 端 〈 必 应 服务 器 ) 的 通信 。 
相 比 于 底层 技术 ， 这 些 程序 库 提 供 了 更 高 的 抽象 层次 。 然 而 ， 软 件 专家 

JoleSpolsky 提 出 了 经 验 法 则 “抽象 漏洞 定律 “所 有 非 平 凡 的 抽象 ， 在 某 种 
程度 上 ， 都 存在 漏洞 。”[Spolsky02] 他 敏锐 地 指出 ， 虽 然 高 抽象 层次 的 语 

言 、 程 序 库 和 框 染 等 技术 提高 了 开发 者 的 生产 力 ， 使 他 们 不 必 总 是 关心 技 
术 细 和 ， 然 而 总 是 存在 一 些 情况 ， 需 要 开发 者 深入 抵 层 ， 去 研究 那些 为 了 
提高 生产 率 而 省 略 的 细 世 问题 。 高 抽象 级 别 的 技术 虽然 可 以 减少 编写 代码 
的 时 间 ， 但 是 并 不 能 减少 开发 者 学 习 整个 技术 栈 的 时 间 。 只 停留 在 高 抽象 
层次 的 开发 者 将 难以 解决 复杂 的 实际 问题 ， 且 有 可 能 引入 更 多 的 设计 错 
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WPA pie, SRAME EAN A AES, CER TER E 
要 技术 ， 开 发 者 完全 理解 这 些 技术 需要 付出 很 大 的 努力 。 然 而 ， 必 应 词典 
所 涉及 的 技术 细 市 远 不 止 于 此 ， 它 拥有 40 多 个 线程 ， 加 载 170 多 个 动态 链接 
库 ， 拥 有 1000 多 个 Windows 句 柄 。 受 不 伪 张 地 说 ， 儿 乎 没有 人 可 以 完全 理解 
它 使 用 的 所 有 技术 ， 也 无 法 掌握 它 任意 时 刻 的 状态 。 


不 过 ， 软 件 技术 只 十 软件 复杂 性 的 一 部 分 。 成 功 的 软件 必须 帮助 用 户 解决 
实际 问题 ， 使 他 们 获得 成 功 。 因 此 ， 项 目 团队 需要 研究 用 户 情景 和 领域 知 
识 ， 然 后 创造 性 地 提出 解决 方案 ， 并 选择 合适 的 技术 来 实现 。 在 这 个 研 
究 、 创 造 、 应 用 的 过 程 中 ， 项 目 团队 会 面临 更 多 的 挑战 和 困难 ， 而 能 否 处 
理 领 域 复杂 度 和 设计 复杂 度 是 决定 产品 成 败 的 关键 。 例 如 ， 对 于 必 应 词典 
而 言 ， 发 送 请 求 并 接受 啊 应 是 相对 容易 的 ， 困 难 的 是 为 一 个 单词 提供 准确 
的 定义 、 例 句 、 搭 配 、 同 义 词 等 信息 ， 更 困难 的 是 为 一 个 句子 提供 恰当 的 
-ma eee ere aaa 
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由 以 上 讨论 不 难看 出 ， 软 件 复 杂 度 包含 技术 、 领 域 、 设 计 等 多 个 方面 。 随 
着 软件 行业 的 快速 发 展 ， 软 件 复杂 度 已 经 超越 了 个 人 的 理解 能 力 。 那 么 ， 
从 测试 的 角度 来 说 ， 测 试 人 员 应 该 如 何 应 对 这 一 情况 昵 ? 本 书 所 介绍 的 大 
E E E E E 
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。 对 于 复杂 的 软件 ， 任 何人 都 不 可 能 和 掌握 全 部 的 信息 。 如 采 测 试 人 员 对 
软件 的 理解 存在 许多 偏差 ， 他 的 测试 策略 一 定 会 包 仿 错误。 为 了 更 好 
地 理解 软件 ， 他 需要 与 产品 经 理 、 程 序 员 、 领 域 专 家 、 测 试 同事 等 协 
作 ， 还 需要 研究 项 目 文档 、 技 术 资 料 、 领 域 专著 等 文献 ， 并 通过 实际 


测试 去 获得 第 一 手 知识 。 测 试 人 员 不 应 该 依赖 单一 的 或 局 限 的 信息 
源 ， 他 应 该 从 各 种 渠道 获得 信息 ， 多 角度 地 研究 软件 。 


由 于 软件 如 此 复 洒 ， 大 多 数 测 试 人 员 在 项 目 之 初 都 不 其 了解 软 件 ， 其 
拟定 的 初始 测试 方案 或 多 或 少 都 存在 错漏 ， 有 些 甚 至 存在 严重 错误 。 
注重 实效 的 测试 人 员 ， 会 承认 测试 方案 是 不 完备 的 ， 并 迭代 地 实施 测 
试 ， 通 过 持续 地 评估 和 反思 来 逐步 增强 测试 方案 。 


对 于 现实 世界 的 软件 ， 穷 举 测试 是 不 可 行 的 。 任 何 实用 的 测试 技术 都 
征 基 于 一 定 策 略 的 采样 ， 即 从 无 限 多 的 测试 输入 中 选择 一 个 数量 有 限 
的 子 集 ， 通 过 运行 这 批 测 试 来 评估 软件 的 整体 情况 。 考 虑 到 软件 的 复 
杂 度 ， 任 何 一 种 测试 技术 都 存在 不 能 正确 评估 软件 的 风险 。 而 且 ， 在 
测试 之 初 ， 测 试 人 员 也 很 难 预料 究竟 哪些 测试 技术 才 适 合 当前 项 目 。 
为 此 ， 测 试 人 员 应 该 积 素 多 种 测试 技术 ， 绿 合 运 用 它们 ， 并 随 着 项 目 
发 展 积极 调整 测试 策略 ， 才 能 避免 重大 测试 遗漏 。 


人 们 处 理 复 杂 问 题 的 常用 策略 是 “分 而 治之 ”。 在 软件 领域 ， 建 立 合理 
的 抽象 模型 是 应 对 软件 复杂 性 的 稼 见方 式 。 在 测试 领域 ， 测 试 人 员 可 
以 建立 产品 的 模型 来 帮助 测试 。 在 建 模 过 程 中 ， 他 们 以 当前 测试 目标 
为 指导 ， 省 略 无 关 的 产品 细节 ， 突 出 重要 的 产品 元 素 。 面 对 简化 后 的 
产品 模型 ， 可 以 更 有 针对 性 地 实施 测试 设计 。 


在 大 规模 软件 中 ， 对 于 少量 代码 的 变更 都 不 可 以 掉以轻心 ， 因 为 修改 
者 、 代 码 评审 者 、 测 试 者 都 很 难 预料 这 段 代 码 被 调用 的 语 境 和 执行 后 
的 影响 。 例 如 ， 程 序 员 要 修改 网 页 浏览 器 (如 IE、Chrome ` Firefox 
等 ) 排版 引擎 的 一 个 排版 缺陷 ， 通 常 需要 运行 大 规模 的 回归 测试 。 
为 全 世界 的 网 页 千差万别 ， 很 难 预测 这 段 代码 会 排版 何 种 网 页 ， 也 很 
难 预测 这 段 代 码 是 否 会 破坏 某 些 精心 排版 的 页 面 。 只 有 运行 大 规模 测 
试 ， 才 能 保证 代码 变更 的 正确 性 。 


。 单 余人 的 脑力 已 经 难以 应 对 软件 的 复杂 度 了 ， 测 试 人 员 需 要 考虑 利用 
自动 化 测试 开发 强力 的 测试 策略 。 
1.2 ”软件 测试 是 获取 信息 的 技术 调查 
不 同 的 人 有 不 同 的 背景 、 不 同 的 目标 、 不 同 的 任务 ， 对 软件 测试 也 会 给 出 
不 同 的 定义 ， 因 此 不 存在 放 之 四 海 皆 准 的 软件 测试 定义 。 不 过 ， 对 于 软件 
测试 工程 师 而 言 ， 我 认为 有 3 个 软件 测试 的 定义 很 有 启发 性 。 
定义 1 : 测试 是 为 了 发 现 错误 而 执行 程序 的 过 程 [Myers79] 。 


mt 


该 定义 是 Glenford J. Myers 在 1979 年 提出 的 ， 历 经 30 多 年 的 考验 ， 至 今 仍 被 
广泛 引用 和 讨论 。 这 是 一 句 人 简短 而 有 力 的 论述 ， 它 紧 扣 测 试 的 基本 活动 
执行 程序 和 寻找 错误 ， 符 合 大 多 数 测 试 人 员 的 工作 内 容 ， 因 此 更 容易 
获得 广泛 认可 。 此 外 ， 它 揭示 了 软件 测试 的 根本 原因 ， 即 某 些 重要 的 东西 
可 能 出 错 [Kaner01]， 软 件 测试 就 是 要 发 现 这 些 错 误 。 


它 给 测试 人 员 的 启示 是 ， 测 试 人 员 应 该 始终 质疑 并 挑战 软件 。 有 些 测试 任 
务 的 字面 内 容 类 似 于 “检查 本 次 代码 变更 是 正确 的 "， 好 像 要 求 测 试 人 员 去 
验证 软件 行为 是 正确 的 。 对 于 此 类 任务 ,测试 人 员 应 该 假定 代码 变更 引入 
了 未 知 的 错误 ， 然 后 想 尽 办 法 去 攻击 软件 。 即 便 测 试 人 员 最 后 的 结论 古 “ 我 
没有 发 现 错误 ”， 攻 击 性 的 测试 过 程 也 使 这 个 结论 更 有 可 信和 度 。 


定义 2 : 测试 是 一 个 获取 信息 的 过 程 ， 用 来 降低 决策 风险 [Weinberg08]。 


Genald M. Weinberg 认 为 人 不 是 完美 的 思考 者 ， 面 对 复杂 的 情况 会 作出 许多 
错误 的 决定 。 在 采购 、 选 择 、 使 用 、 开 发 软件 的 过 程 中 ， 人 们 需要 作出 许 
多 决定 。 不 完美 的 思考 导致 有 风险 的 决策 ， 可 能 造成 巨大 的 损失 。 他 指出 
ee EA 


wy. 
该 定义 给 了 我 (一 个 测试 人 员 ) 一 系列 启示 ° 


。 测试 是 服务 性 的 工作 。 通 过 测试 ， 我 向 整个 团队 提供 关于 产品 质量 和 
项 目 环境 的 信息 ， 帮 助 他 们 作出 决定 。 


。 低 质量 的 信息 不 但 无 助 于 决策 ， 还 可 能 浪费 团队 的 时 间 ， 甚 至 作出 错 
误 的 决策 。 因 此 ， 我 应 该 总 是 提供 高 质量 的 信息 。 这 通常 体现 为 及 时 
地 交流 、 周 密 地 测试 、 仔 细 地 报告 。 


。 团队 的 决定 可 能 与 我 的 期 望 不 一 致 ， 要 去 理解 导致 该 决定 的 其 他 信息 
。 例 如， 我 提交 了 一 个 严重 的 缺陷 ， 团 队 领导 却 决 定 不 予 修复 。 此 
时 ， 应 该 提供 更 多 的 信息 ， 据 理 力 争 ， 同 时 要 去 理解 不 予 修复 背后 的 
原因 ， 从 而 更 好 地 理解 软件 和 项 目 。 


。 为 了 更 全 面 地 提供 信息 ， 除 了 运行 软件 ， 我 还 需要 更 多 的 获取 信息 的 
方法 。 和 常见 的 手段 包括 与 程序 员 交 谈 、 研 究 项 目 人 资料、 学 习 领域 知 
识 、 阅 读 源 代码 、 在 调试 右 中 观察 软件 等 。 

。 除了 软件 缺陷 ， 测 试 还 可 以 提供 关于 项 目 环境 的 信息 。 例 如 ， 在 项 目 
过 程 中 ， 产 品 安 闭 总 是 过 到 许多 问题 。 在 报告 缺陷 的 同时 ， 我 还 可 以 
问 团 队 领 导 反 馈 :“ 开 发 小 组 是 否 在 产品 安装 上 投入 了 足够 多 的 资源 ? 


AA eee EAM SCRA, oR INFRA 阻碍 或 延缓 测试 ， 测 
试 小 组 建议 将 它 视 作 第 一 等 的 功能 需求 。 


定义 3 : 软件 测试 是 一 种 技术 调查 ， 其 目的 是 向 关系 人 提供 有 关 产 品 EK 
件 、 系 统 或 服务 ) 质量 的 实验 信息 [Kaner06] 。 


该 定义 是 Cem Kaner 教 授 提 出 的 ， 他 也 认为 测试 是 一 种 服务 。 服 务 的 客户 是 
项 目 关 系 人 ， 服 务 的 内 容 是 提供 产品 质量 的 实验 信息 。 质 量 就 是 对 某 个 

( 某 些 ) 人 而 言 的 价值 [Gause89]。 不同 的 人 对 于 质量 有 不 同 的 评判 标准 ， 
对 于 信息 有 不 同 的 需求 。 常 见 的 项 目 关 系 人 包括 客户 (购买 产品 的 人 ) ` 
FAR (使 用 产品 的 人 ) 、 程 序 员 、 产 品 经 理 、 运 维 人 员 、 市 场 营 销 人 员 、 
他 们 对 信息 的 需求 是 测试 人 员 主 要 的 工作 内 容 。 请 看 如 下 案 


。 测试 经 理 对 测试 人 员 说 :“ 你 刚 提交 了 一 个 严重 的 缺陷 ， 做 得 好 ! 但 
征 ， 现 在 临近 发 布 ， 修 复 它 的 风险 很 高 。 你 能 不 能 调查 一 下 这 个 缺陷 
在 哪些 情况 下 出 现 ， 会 影 啊 哪 些 用 户 ， 导 致 的 最 坏 结 采 是 什么 ? 我 们 
会 根据 这 些 信息 来 决定 是 否 修复 和 修复 策略 。” 


程序 员 对 测试 人 员 说 : “我 完成 了 一 个 外 本 多 开发 下 周 将 首 BEBIP ih 
环境 中 。 你 能 否 在 预 发 布 环境 中 部 哮 它 ， 并 跑 一 些 系 统 测 试 ? E 已 只 征 
缺陷 修复 ， 没 有 3 引入 新 功能 ， 应 该 不 会 破坏 当前 系统 的 运行 。 


TR 品 经 理 对 测试 人 员 说 : “我 们 在 当前 版 本 中 局 用 了 新 的 图 形 演 染 引 
能 够 明显 提高 画 质 ， 但 是 试用 者 反映 这 个 版 本 的 性 能 不 如 上 一 
版 。 你 能 \ 能 做 一 些 实验 ， 看 看 当前 版 本 在 哪些 场景 中 比较 慢 ， 慢 多 
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e 运 维 人 员 对 测试 人 员 说 : “一 个 用 户 在 产品 论坛 上 发 帖 说 ， 软 件 在 局 动 
时 会 弹出 一 个 报错 对 话 框 ， 跟 帖 的 几 个 人 也 说 遇 到 过 相同 的 情况 。 我 
从 没有 见 过 该 问题 ， 所 以 不 知 如 何 解决 。 你 能 不 能 看 一 下 这 个 帖子 ， 
试看 在 测试 环境 中 复 现 ?这 个 缺陷 在 下 一 版 已 经 修复 了 吗 ? ” 


以 上 案例 都 表明 ， 除 了 发 现 缺 陷 外 ， 测 试 人 员 还 通过 多 种 方式 疝 不 同 的 关 
oo 癌 管理 人 员 提供 调查 报告 ， 向 程序 员 提 供 代 码 的 质量 反 

癌 产品 经理 提供 技术 支持 向 运 维 人 员 提 供 已 知 缺陷 的 信息 ， 在 邮件 
组 中 回答 用 户 提 问 等 。 为 了 更 有 效 地 测试 ， 测 试 人 员 需要 与 测试 经 理 讨 
论 ， 设 定 测试 服务 的 优先 级 ， 为 关系 人 提供 满足 其 要 求 的 高 质量 的 信息 。 
例如 ， 提 供给 测试 经 理 的 信息 要 面向 项 目 风 险 ， 提 供给 程序 员 的 信息 要 包 
含 更 多 的 技术 细节 ， 提 供给 产品 经 理 的 信息 要 侧重 于 用 户 体验 和 产品 价 
值 ， 提 供给 运 维 人 员 的 信息 要 建议 可 能 的 解决 方案 。 


此 外 ，Cem Kaner 还 强调 软件 测试 的 主要 工作 是 技术 调查 ， 即 以 职业 的 态 
度 、 专 业 的 技能 对 产品 的 未 知 领域 进行 探索 。 与 地 质 勘查 、 徘 案 侦查 、 事 
故 调查 等 调查 活动 相似 ， 测 试 具 有 系统 性 、 客 观 性 、 探 索性 和 机 动 性 。 


测试 应 该 系统 地 调查 被 测试 对 象 。 测 试 人 员 需 要 对 产品 进行 周密 的 分 
析 与 检查 。 地 质 勘查 结束 后 ， 勘 查 人 员 会 给 出 详细 的 地 质 图 ， 以 描绘 
ZAKER WERE, AU a nT R 
情况 。 


测试 所 提供 的 信息 应 该 来 自 科 学 实验 和 中 立 观察 。 在 真实 和 客观 的 基 
础 上 ， 包 含 合 理 的 推测 和 建议 。 


刑侦 人 员 会 利用 多 种 方法 ， 从 各 个 信息 源 收集 情报 ， 因 为 很 难 预 测 何 
处 会 有 重大 发 现 。 当 突破 性 情报 浮现 时 ， 他 们 会 转移 工作 重点 ， 顺 着 
新 线索 紧 退 不 舍 。 测 斌 人 员 也 需要 综合 运用 多 种 技术 和 工具 ， 去 探究 
新 的 信息 ， 并 根据 新 发 现 及 时 调整 测试 方向 。 


优秀 的 潜水 员 既 能 够 通过 浮 潜 去 游历 宽阔 的 水 域 ， 也 可 以 利用 水 肺 潜 
水 去 探索 深海 水 域 [DeMarco08] 。 测 试 人 需要 交替 使 用 广度 调查 和 深 
度 调 查 ， 从 而 更 有 效 地 提供 信息 。 广 度 调查 有 助 于 发 现 高 风险 的 区 
域 ， 深度 调查 能 够 提供 详细 的 信息 ， 以 文 持 项 目 关系 人 作出 正确 的 决 
KE ° 


1.3 ”测试 是 迭代 过 程 


测试 是 一 个 页 穿 项 目 周 期 的 调查 过 程 。 为 了 立 述 技术 细节 ， 许 多 测试 文献 
只 讨论 了 该 过 程 的 一 小 部 分 。 因 此 ， 它 们 无 意 中 将 测试 描绘 为 一 个 线性 过 
程 : 测试 人 员 获得 测试 任务 ， 对 被 测 软件 进行 分 析 ， 制 订 测试 计划 ， 确 定 
训 吉 用例， 然后 … 没有 "然后 了， 因为 大 多 数 文献 只 写 完 第“ 轮 测试 设 
计 便 结束 了 。 


但 是 


测试 并 不 是 一 个 线性 过 程 。《 计 算 机 软件 测试 》[Kaner01] 第 1 章 的 目录 


更 符合 测试 人 员 的 工作 方式 。 

1. 第 一 个 测试 周期 

1.1 第 1 步 : 从 显而易见 的 简单 测试 开始 
1.2 第 2 步 : 记录 还 需要 测试 什么 


1.3 第 3 步 : 检查 有 效用 例 并 观察 发 生 了 什么 


1.4 第 4 步 : 做 一 些 “ 快 速 ?测试 

1.5 第 5 步 : 总 结对 程序 和 问题 的 认识 
2. 第 二 个 测试 周期 

2.1 第 1 步 : 在 进行 任何 测试 之 前 应 该 仔细 评审 对 问题 报告 的 反馈 ， 以 确 
定 哪些 部 分 值得 深入 测试 

2.2 ”第 2 步 : 评审 对 不 予 修复 的 问题 的 意见 ， 它 们 可 能 建议 进一步 的 测试 
2.3 第 3 步 : 找 出 上 次 的 测试 笔记 ， 加 入 新 笔记 ， 并 开始 测试 
3. 后 续 测试 周期 中 可 能 会 发 生 的 事情 
该 目录 列举 了 两 个 测试 周期 中 测试 人 员 的 典型 活动 。 测 试 周期 是 一 个 相对 
于 测试 人 员 而 言 的 概念 ， 它 包含 获得 可 测试 的 新 版 本 、 测 试 、 报 告 问题 
( 即 bug) 、 反 思 总 结 等 活动 。 无 论 项 目 采 用 何 种 开发 模型 ， 测 试 人 员 总 是 


一 个 版 本 接 一 个 版 本 地 测试 ， 其 测试 活动 总 是 迭代 向 前 的 : 测试 版 本 1 一 近 
区 缺陷 一 修复 缺陷 一 测试 版 本 2 一 提交 新 缺陷 一 修复 新 缺陷 一 测试 版 本 


即便 在 测试 周期 内 部 ， 测 试 活动 也 十 类 代 的 。 以 “第 一 个 测试 周期 "为 例 ， 

测试 人 员 不 熟悉 软件 ， 所 以 第 1 步 是 运行 一 些 简单 的 测试 ， 来 了 解 软件 的 行 
为 。 在 第 2 步 和 第 3 步 ， 测 试 人 员 根 据 第 1 步 获 得 的 信息 设计 了 更 多 的 测试 ， 
并 记录 在 案 。 他 使 用 了 一 些 经 典 的 测试 设计 方法 ， 如 边界 值 分 析 和 等 价 类 
划分 。 在 第 4 步 ， 他 使 用 了 一 些 局 发 式 测 试 方法 对 软件 进行 快速 攻击 。 在 第 
5 步 ， 他 对 被 测 软件 和 测试 策略 进行 了 反思 ， 以 挖掘 软件 的 风险 和 测试 的 不 
足 。 可 见 ， 整 个 测试 过 程 是 螺旋 向 上 的 : 初始 的 测试 提供 了 正式 测试 设计 
所 需 的 信息 ; 正式 的 测试 用 例 较 系 统 地 检查 了 系统 ; 当 正 式 测试 揭示 出 软 
件 风 险 时 ， 快 速 测 试 机 动 地 探索 相关 领域 ， 以 确定 是 否 存在 广 重 的 问题 ， 

并 为 后 续 的 正式 测试 提供 信息 。 


后 续 的 测试 周期 会 利用 先前 测试 所 产生 的 信息 。 以 “第 二 个 测试 周期 "为 

例 ， 测 试 人 员 分 析 对 问题 报告 的 反馈 ， 了 人 解 团 队 中 其 他 人 对 软件 行为 的 看 
法 。 利 用 这 些 新 信息 ， 他 可 以 确定 测试 的 重点 。 他 还 会 参考 第 一 个 周期 的 
测试 笔记 ,但 是 不 会 照 本 宣 科 地 重新 执行 一 裔 ， 而 是 利用 新 信息 设计 新 的 
测试 。 从 这 个 角度 来 看 ， 测 试 类 似 于 移动 的 军舰 向 男 一 艘 移动 的 军舰 开 

火 。 开 火 的 军舰 在 移动 是 因为 测试 人 员 对 被 测 软 件 的 认识 在 不 断 地 增强 ， 
他 知道 哪些 测试 不 太 容 易 找 到 错误 ， 哪 些 测试 更 可 能 找到 问题 。 目 标 军 舰 
在 移动 是 因为 程序 员 在 持续 提交 新 功能 和 修复 缺陷 ， 导 致 软件 也 在 不 停 地 


变化 。 因 此 ， 测 试 策 略 也 需要 保持 动态 变化 ， 使 得 炮 口 一 直 瞄 准 飞 驰 的 目 
水 。 


迭代 的 最 大 优点 是 能 够 快速 获得 测试 设计 的 反馈 ， 从 而 逐步 完善 测试 设 
计 。 程 序 员 已 经 认识 到 软件 开发 过 程 会 引入 大 量 的 错误 ， 应 该 利用 快速 反 
馈 来 发 现 设计 中 的 错误 。 因 此 ， 测 斌 驱动 开发 、 结 对 编程 、 持 续集 成 、 上 自 
动 化 测试 等 技术 得 到 了 普遍 认可 和 应 用 。 测 试 设计 与 软件 设计 相似 ， 都 是 
高 智力 的 创造 性 工作 ， 也 可 能 会 产生 错误 的 设计 。 测 试 人 员 也 需要 快速 获 
得 测试 设计 的 反馈 ， 有 意识 地 利用 迭代 可 以 为 此 奠定 恨 好 的 基础 。 


1.4 测试 人 员 的 工作 效率 取决 于 他 对 软件 和 项 目的 
理解 ， 而 不 是 他 掌握 的 测试 技术 


我 曾经 长 期 测试 一 个 网 络 应 用 。 当 我 离开 这 个 项 目 时 ， 测 试 经 理 安排 一 个 
测试 员工 来 接替 我 。 他 刚刚 入 职 ， 对 被 测 软件 和 业务 领域 都 不 了 解 ， 在 工 
作 中 遇 到 了 许多 困难 。 在 我 加 入 新 团队 后 ， 我 还 通过 电话 数 次 回答 了 他 的 
问题 。 后 来 ， 我 反思 了 当时 的 情况 。 作 为 一 个 测试 工程 师 ， 我 的 工作 效率 
明显 优 于 接替 我 的 同事 ， 主 要 原因 包括 以 下 几 点 。 


。 我 理解 产品 。 我 知道 它 的 业务 目标 ， 了 解 它 通过 什么 方法 去 实现 目 
标 。 因 此 ， 我 能 够 快速 地 制定 测试 方案 。 


。 我 理解 用 户 的 期 望 。 我 知道 哪些 功能 绝对 不 能 出 错 ， 需 要 仔细 测试 ， 
也 知道 哪些 功能 允许 一 些 瑕 竟 ， 即 便 出 错 ， 也 可 以 在 下 一 个 版 本 ( 通 
常 在 3 个 月 之 后 发 布 ) 中 修复 。 因 此 ， 我 能 够 更 好 地 分 配 测 试 时 间 。 


我 理解 产品 的 架构 。 通 过 阅读 产品 源 代码 ， 我 知道 哪些 模块 容易 出 现 
哪些 缺陷 。 因 此 ， 我 可 以 针对 不 同 的 模块 采用 有 针对 性 的 测试 策略 。 


我 知晓 如 何 回避 浪费 时 间 却 没有 收益 的 任务 。 例 如 ， 我 曾经 尝试 用 自 
动 化 测试 用 例 去 测试 用 户 界面 ， 但 是 sae ee aie 
需要 很 高 的 维护 代价 ， 却 不 能 发 现 错误 。 于 是 ， 我 只 为 Web 服 务 编写 自 
动 化 测试 用 例 ， 用 手工 测试 来 测试 用 户 界 ai 


我 了 解 产品 元 素 和 项 目 团 队 。 当 出 现 缺陷 时 ， 我 知道 如 何 阅读 系统 
志 发 掘 蛛 丝 马 迹 ; 当 我 遇 到 困难 时 ， 我 知道 向 哪 位 程序 员 或 测试 人 员 
求助 。 因 此 ， 我 可 以 深入 挖掘 并 快速 推进 。 


。 我 在 原先 的 团队 工作 了 很 长 的 时 间 ， 与 同事 建立 了 良好 的 关系 。 当 我 
提出 一 些 可 测试 性 的 建议 时 ， 比 较 容易 得 到 程序 员 的 支持 。 


从 以 上 几 点 不 难看 出 ， 我 能 够 更 有 效 地 测试 ， 其 主要 原因 不 是 我 掌握 更 多 
的 测试 技术 ， 而 是 我 更 了 解 软 件 产品 、 业务 领 域 和 项 目 环境 。 通 过 逐 点 分 
析 ， 可 以 得 到 如 下 局 示 。 


产品 是 一 种 解决 方案 ， 如 果 没 有 解决 回 题 ， 它 束 是 无 用 的 [Kaner12] 。 
测试 人 员 需 要 了 解 软件 产品 和 业务 领域 ,才能 设计 有 效 的 测试 。 


测试 是 一 种 信息 服务 ， 要 了 解 服 务 对 象 的 需求 。 如 采用 户 不 能 容忍 某 
些 错 误 ， 测 试 人 员 束 需要 仔细 测试 相关 功能 ， 如 果 用 户 对 一 些 瑕 竟 并 
不 在 意 ， 测 试 人 员 束 不 必 在 此 花费 过 多 的 时 间 。 只 有 了 解 服务 对 象 的 
优先 级 ， 才 能 更 好 地 设 定 测试 工作 的 优先 级 。 


不 同 的 模块 采用 不 同 的 技术 ， 拥 有 不 同 的 典型 错误 。 只 有 了 解 软件 实 
现 ， 才 能 设计 差异 化 且 有 针对 性 的 测试 用 例 。 


测试 设计 可 能 包含 错误 ， 测 试 人 员 需 要 从 错误 中 吸取 经 验 和 教训 ， 避 
AERAR 。 


当 测试 工作 遇 到 困难 时 ， 测 试 人 员 需 要 知道 从 哪里 寻找 信息 。 了 解 被 
吕 产 品 和 测 二 工具 能 名 提供 的 信息 ， 了 解 电 位 同事 知道 更 多 内 芝 ， 会 
节省 时 间 。 


“人 脉 " 有 时 候 会 极 大 地 提高 测试 人 员 的 工作 效率 。 测 试 人 员 需 要 与 程 
序 员 和 测试 同事 保持 恨 好 的 关系 。 达 成 协作 关系 的 关键 之 一 是 测试 人 
员 能 够 为 同事 们 提供 高 质量 的 信息 服务 。 


在 职业 生涯 中 ， 测 试 人 员 总 是 会 遇 到 痢 的 软件 、 项 目 和 团队 。 他 应 该 
人 


实施 高 效 的 测试 需要 很 多 条 件 。 熟 练 地 掌握 测试 拉 术 是 一 个 很 重要 的 因 
素 ， 但 很 少 会 是 决定 性 的 因素 。 只 有 充分 掌握 软件 产品 和 项 目 环境 ， 测 试 
技术 才能 找到 大 放 光 彩 的 舞台 。 


1.5 ”小结 
本 章 介绍 了 软件 测试 的 基本 价值 观 。 作 为 指导 原则 ， 它 们 将 贯穿 全 书 。 


软件 复杂 性 来 自 于 领域 、 设 计 、 技 术 、 开 发 过 程 等 多 个 方面 。 为 了 应 
对 高 度 复杂 且 持 续 变 动 的 软件 ， 测 试 人 员 需 要 从 多 个 来 源 收集 信息 ， 
并 在 项 目 全 程 收集 对 测试 设计 的 反馈 。 


。 软件 测试 的 基本 目标 是 发 现 软件 错 误 ， 并 了 予以 修正 。 


。 软件 测试 十 一 种 信息 服务 。 以 技术 调查 和 科学 实验 的 方式 实施 软件 测 
试 ， 能 够 提供 高 质量 的 服务 。 

。 无 论 测 试 人 员 是 否 意识 到 ， 软 件 测试 都 是 欠 代 展开 的 。 有 意识 地 利用 
软件 测试 的 迭代 性 ， 可 以 更 好 地 测试 。 


。 局 效 的 软件 测试 要 求 测试 人 员 理 解 软件 和 项 目的 方方面面 。 学 习 与 实 
践 要 伴随 测试 全 程 。 


第 2 章 缺陷 报告 


在 许多 项 目 环境 中 ， 缺 陷 报 告 是 测试 人 员 最 主要 的 工作 产 出 ， 征 将 测试 人 
员 和 项 目 团队 广泛 联系 在 一 起 的 纽 市 。 


。 程序 员 会 阅读 缺陷 报告 ， 以 了 解 缺 陷 的 症状 和 重 现 步 怠 。 好 的 缺陷 报 
告 能 帮助 他 快速 地 定位 问题 ， 差 的 缺陷 报告 会 浪费 他 的 调试 时 间 。 
产品 经 理会 阅读 缺陷 报告 ， 以 了 解 缺陷 的 证 状 和 严重 性 。 好 的 缺陷 报 
告 准 确 地 传递 了 用 户 质 量 的 信息 ， 帮 助 他 设 定 修 复 优先 级 ， 差 的 缺陷 
报告 会 误导 他 作出 错误 决定 ， 甚 至 将 一 些 严 重 的 缺陷 标记 为 “不 予 修 
复 ”。 


在 一 些 团队 ， 产 品 经 理 、 开 发 经 理 和 测试 经 理会 举行 缺陷 评审 会 议 ， 
对 缺陷 是 否 修复 进行 “最 终 判 决 "。 好 的 缺陷 报告 会 提高 会 议 效率 ， 差 
的 缺陷 报告 会 降低 会 议 效率 ， 甚 至 让 评审 小 组 作出 错误 的 决策 。 


在 一 些 大 型 项 目 中 ， 缺 陷 报 告 是 测试 小 组 以 外 的 人 了 解 测试 人 员工 作 
人 


可 见 ， 测 试 人 员 应 该 认真 对 竺 缺陷 报告 ， 因 为 它们 关乎 整个 团队 的 工作 歼 
率 和 测试 人 员 的 个 人 声誉 。 编 写 高 质量 的 缺陷 报告 是 测试 人 员 最 重要 的 基 
本 功 之 一 。 本 章 将 介绍 一 些 编写 和 处 理 缺 陷 报告 的 方法 ， 帮 助 测试 人 员 更 
有 效 地 与 项 目 团 队 交流 。 


2.1 报告 缺陷 是 为 了 证 缺陷 得 到 修复 


报告 缺陷 的 首要 目标 是 “使 正确 的 缺陷 得 到 修复 [Kaner08a]。 所 请“* 正 确 的 缺 
陷 ?， 是 那些 值得 修复 的 错误 、 局 限 、 失 败 等 降低 软件 价值 的 问题 。 测 试 人 
员 面 临 的 挑战 "对 软件 价值 的 影响 ”和 * 征 否 值得 修复 ”都 是 主观 判断 ， 不 同 的 
人 基于 不 同 的 背景 和 立场 很 可 能 得 出 不 同 的 结论 。 测 试 人 员 需 要 说 服 程序 
员 和 缺陷 评审 小 组 ， 使 他 们 相信 修复 当前 的 缺陷 是 正确 的 。 因 为 测试 人 员 
通 稼 不 负责 修复 缺陷 为 了 使 缺陷 得 到 修复 ， 需 要 提交 和 维护 高 质量 的 缺 
陷 报 告 ， 将 正确 的 信息 传递 给 团队 。 这 需要 测试 人 员 持 续 地 努力 和 长 期 地 
积 素 。 在 此 过 程 中 ， 以 下 策略 会 有 所 帮助 。 


。 清 楚 地 说 明 此 问题 对 用 户 价值 的 危害 。 

。 提 供 尽 可 能 多 的 技术 信息 ， 方 便 程序 员 调 试 。 
。 尽早 提交 缺陷 报告 。 

。 报告 发 现 的 所 有 缺陷 ， 即 便 有 些 缺 陷 难 以 重 现 。 


第 一 ， 缺 陷 报 告 要 重点 说 明 该 缺陷 对 用 户 价值 的 损害 。 许 多 软件 项 目 都 进 
度 紧 张 、 资 源 有 限 ， 项 目 团队 修复 一 个 严重 的 缺陷 ， 可 能 需要 考虑 多 个 因 
素 。 例 如 : 修复 该 缺陷 可 能 需要 2 天 ， 而 实现 一 个 用 户 建 议 的 新 功能 也 需要 
2 天 ， 是 修复 缺陷 还 是 增加 功能 对 用 户 更 有 价值 ? 目前 ， 软 件 即 将 发 布 ， 修 
复 该 缺陷 会 不 会 引入 痢 的 问题 ? 为 了 修复 该 缺陷 而 推迟 发 布 是 否 值得 ? 这 
些 问题 的 核心 因素 是 该 缺陷 是 否 显著 地 降低 了 软件 对 用 户 的 价值 ， 以 至 于 
开发 人 员 与 测试 人 员 愿 意 占用 开发 活动 的 时 间 、 冒 着 引入 更 多 缺陷 的 风险 
来 修复 它 。 如 果 缺 陷 报 告 没有 写 清 楚 缺 陷 的 影响 ， 产 品 经 理 或 缺陷 评审 小 
组 有 可 能 会 错误 地 认为 这 是 一 个 不 重要 的 问题 ， 并 将 它 标记 为 "不 子 修 

复 ”。 


为 了 让 缺陷 评审 者 了 解 真实 的 情况 ， 测 试 人 员 需 要 从 多 个 角度 思考 如 何 有 
效 地 传递 缺陷 信息 。 


。 测试 人 员 在 提交 缺陷 时 最 好 使 用 自制 的 缺陷 模板 。 缺陷 模板 为 一 些 常 
用 缺陷 字段 提供 了 默认 值 ， 减 少 了 输入 的 工作 量 。 更 重要 的 是 ， 缺 陷 
模板 可 以 提供 缺陷 报告 的 结构 ， 提 醒 测 斌 人员 输入 必要 的 内 容 。 例 
如 ， 缺 陷 模 板 可 以 包含 用户 影 响 ” 一 站 ， 提 醒 测 试 人 员 输入 缺陷 对 于 
用 户 价值 的 危害 。 如 果 缺 陷 对 用 户 的 影响 非常 明显 ， 测 试 人 员 可 以 忽 
略 该 了 ， 但 这 是 测试 人 员 思 考 后 的 决定 ， 而 不 是 由 于 忙碌 环 记 填写 。 


。 要 为 使 用 软件 的 人 “仗义 执 言 >。 测 试 人 员 很 可 能 是 第 一 个 完整 使 用 软 
件 的 人 ， 能 够 发 现 一 些 用 户 在 日 常 使 用 中 直到 的 问题 。 某 些 问题 不 是 
严格 意义 上 的 计算 错误 (例如 某 个 常用 按钮 没有 链 副 快捷 键 ) ， 某 些 
问题 来 自 于 开发 技术 的 限制 (例如 32 位 程序 只 能 利用 2GB 的 内 存 ， 一 
些 需 要 大 量 内 存 的 操作 可 能 因为 该 限制 而 失败 ) ， 某 些 问题 在 以 前 的 
版 本 中 也 存在 。 无 论 如 何 ， 这 些 问题 使 用 户 受 到 挫折 ， 降 低 了 软件 对 
o a 
AHL ° 


要 “放大 格局 ?， 软 件 的 “关系 人 ”还 包括 程序 员 、 测 试 人 员 、 运 维 人 
员 、 销 售 人 员 等 。 如 果 软 件 存 在 一 些 问题 或 局 限 ， 使 得 他 们 的 生活 变 
得 困难 ， 测 试 人 员 也 应 该 提交 缺陷 报告 。 例 如 ， 如 果 测 试 人 员 发 现 被 
测 的 网 络 服务 没有 记录 足够 的 日 志 ， 以 致 整个 业务 流程 类 似 于 一 个 黑 
盒 ， 测 试 检 查 变 得 很 困难 。 他 应 该 报告 该 问题 ， 建 议 服 务 日 志 还 需要 
记录 哪些 内 容 ， 并 解释 理由 。 测 试 人 员 可 以 指出 ， 从 长 远 看 更 多 的 日 
志 不 但 能 够 帮助 测试 人 员 更 快 地 发 现 错误 ， 而 且 有 利于 运 维 人 员 发 现 
在 线 系 统 的 问题 ， 也 有 利于 程序 员 根 据 日 志 定 位 问题 ， 从 而 提高 整个 
团队 的 效率 。 


为 了 提供 有 说 服 力 的 证 据 ， 测 试 人 员 可 能 需要 做 一 些 “ 研 究 ”。 例 如， 
测试 人 员 发 现 一 个 杀毒 软件 兼容 性 问题 一 一 在 被 测 软件 执行 特定 操作 
时 ， 某 个 杀毒 软件 会 报告 发 现 病毒 。 为 了 评 佑 该 问题 的 普 重 性 ， 他 需 
要 分 析 该 操作 的 重要 性 和 使 用 频率 ， 可 能 的 手段 包括 阅读 规格 说 明 、 
查询 用 户 日 志 、 询 问 产品 经 理 等 。 此 外 ， 他 还 可 以 通过 搜索 引擎 查询 
该 杀毒 软件 的 市 场 份额 ， 售 算 有 多 少 用 户 可 能 过 到 该 问题 。 


测试 人 员 还 可 以 寻找 “专家 ”支持 。 所 谓 专 家 是 受到 整个 项 目 团队 认可 
和 信任 的 人 ， 他 的 意见 会 有 更 大 的 影响 力 。 他 可 能 是 一 位 资深 员工 ， 
经 历 了 多 次 产品 发 布 ; 也 可 能 是 一 位 领域 专家 ， 对 业务 领域 有 深刻 的 
理解 ， 还 可 能 是 一 位 用 户 代 表 ， 能 够 提供 真实 的 用 户 反 馈 。 测 试 人 员 
可 以 与 他 讨论 所 发 现 的 问题 ， 获 得 他 的 文 持 。 如 果 他 可 以 在 缺陷 报告 
中 写 下 有 份量 的 评论 ， 或 在 缺陷 评审 会 议 上 文 持 修复 问题 ， 该 缺陷 将 
很 可 能 得 到 修复 。 


第 二 ， 人 缺陷 报告 应 该 提供 尽 可 能 多 的 信息 ， 以 便 程 序 员 修复 缺陷 。 缺 陷 不 
被 修复 或 没有 人 被 及 时 修复 的 常见 原因 古 程 序 员 没 能 重 现 该 缺陷 。 对 于 难以 
重 现 的 问题 ， 测 试 人 员 应 该 收集 并 报告 尽 可 能 多 的 信息 ， 例 如 有 可 能 重 现 
缺陷 的 操作 步 又 、 屏 幕 截 图 、 视 频 录 像 、 所 使 用 的 数据 文件 、 软 件 的 内 存 
转 储 、 奶 趴 日 志 、 网 络 通信 记 杂 等 。 软 件 测试 是 技术 调查 ， 缺 陷 报 告 作为 
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调查 结果 ， 应 该 包含 业务 层面 的 信息 ， 让 缺陷 评审 者 了 解 软件 价值 的 损 
失 ， 还 应 该 包含 技术 层面 的 信息 ， 帮 助 程序 员 更 快 地 修复 问题 。 


第 三 ， 缺 陷 越 早 被 报告 ， 越 有 可 能 被 修复 。 当 项 目 临 近 发 布 时 ， 项 目 团队 
会 对 代码 变更 采取 谨慎 的 态度 ， 因 为 最 后 时 刻 的 代码 修改 可 能 会 引入 一 些 
新 的 缺陷 ， 而 短 时 间 的 测试 不 能 发 现 这 些 缺 陷 。 因 此 ， 缺 陷 评 审 会 议 第 第 
因为 风险 较 高 而 拒绝 修复 一 些 缺 陷 。 这 样 的 情况 我 遇 到 过 多 次 ， 如 有 果 能 

一 些 提 交 该 缺陷 ， 哪 怕 是 早 一 个 星期 ， 它 就 能 得 到 修复 。 这 给 我 两 个 启 

示 : 一 是 和 要 第 一 时 间 提 区 发 现 的 缺陷 ;二 是 在 规划 测试 时 ， 要 使 测试 策略 
能 够 尽早 地 发 现 严 重 的 缺陷 。 


第 四 ， 为 了 提供 完整 的 信息 ， 测 试 人 员 应 该 报告 发 现 的 所 有 问题 。 这 并 不 
意味 着 提交 重复 的 信息 。 在 提交 缺陷 报告 之 前 ， 测 试 人 员 可 以 查询 一 下 缺 
陷 管 理 系 统 ， 了 解 被 测 功 能 有 哪些 活跃 的 缺陷。 如 采 其 他 测试 人 员 已 经 提 
交 了 这 个 缺陷 ， 那 么 测试 人 员 可 以 跳 过 报告 ， 继 续 测 试 。 我 建议 测试 人 员 
在 查询 相似 缺陷 上 不 必 花 费 太 多 的 时 间 ， 只 要 避免 明显 的 重复 提交 即 可 ， 
因为 重复 提交 的 开销 远 小 于 遗漏 报告 的 代价 。 而 且 ， 程 序 员 通 常 能 够 快速 
地 链接 根源 相同 的 两 份 缺陷 报告 ， 将 它们 "并 案 ? 处 理 。 


有 时 ， 软 件 的 表现 出 乎 测试 人 员 的 预料 ， 但 是 他 并 不 能 确定 这 一 定 征 个 缺 
陷 。 这 说 明 测 试 人 员 对 软件 的 设计 和 实现 还 有 不 了 解 的 地 方 ， 他 应 该 将 此 
疑惑 视 为 一 个 学 习 的 机 会 ， 通 过 阅读 文档 、 容 询 同事 等 方法 来 获得 解答 。 
然而 ， 在 测试 时 间 紧 张 的 情况 下 ， 深 入 调查 是 不 适宜 的 。 如 果 不 能 立即 获 
得 解答 ， 测 试 人 员 应 该 提交 缺陷 报告 ， 让 产品 经 理 或 缺陷 评审 会 议 来 回 
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在 提交 缺陷 报告 时 ， 测 试 人 员 面临 的 最 大 挑战 是 那些 难以 重 现 的 缺陷 。 大 
多 数 测试 人 员 都 有 这 样 的 经 历 : 测试 执 行 时 ， 无 意 中 发 现 一 个 缺陷 ， 于 是 
再 测试 一 遍 ， 来 确认 重 现 步骤 ， 这 时 该 缺陷 却 “ 神 奇 地 ?消失 了 “。 这 说 明基 
些 未 知 的 因素 在 起 作用 ， 它 们 改变 了 软件 的 行为 ， 使 得 缺陷 不 能 重 现 。 这 
时 ， 测 试 人 员 的 任务 是 用 各 种 手段 去 发 现 这 些 因 素 ， 让 缺陷 重 现 。 不 六 的 
是 ， 重 现 缺 陷 的 努力 常常 会 失败 。 面 对 这 种 情况 ， 测 试 人 员 仍 旧 应 该 提交 
缺陷 报告 。 他 应 该 在 报告 中 坦承 该 缺陷 不 能 稳定 重 现 ， 然 后 报告 他 知道 的 
所 有 信息 ， 例 如 为 了 重 现 缺陷 做 了 哪些 实验 、 使 用 了 哪些 实验 数据 、 实 验 
结果 如 何 、 对 于 缺陷 根源 的 猜测 等 。 


2.2 ”高 质量 的 缺陷 报告 来 目 于 高 质量 的 测试 


测试 是 一 个 送 代 的 过 程 ， 矶 陷 报告 是 其 中 的 一 环 。 它 既 古 一 段 测 试 的 结 
束 ， 也 十 一 段 测试 的 开始 。 测 试 人 员 应 该 让 缺陷 报告 和 测试 执行 相互 文 


人 


2.2.1 ”分配 测试 时 间 
在 提交 缺陷 报告 时 ， 测 试 人 员 常 常 需要 考虑 如 何 使 用 接 下 来 的 测试 时 间 。 


。 是 继 续 调查 当前 缺陷 ， 以 提供 更 简化 的 重 现 步 又 ， 还 是 开始 新 的 测 
试 ? 该 问题 需要 测试 人 员 平 衡 调查 时 间 和 测试 时 间 。 用 更 多 时 间 去 调 
查 可 能 提供 更 清晰 的 缺陷 报告 ， 从 而 简化 缺陷 评审 者 和 修复 者 的 工 
作 ; 用 更 多 时 间 去 测试 可 能 更 早 地 发 现 其 他 缺陷 。 


是 继续 测试 该 功能 〈 或 情景 ) ， 还 是 测试 其 他 功能 〈 或 情景 ) ? 该 问 
题 需要 测试 人 员 平衡 所 提供 信息 的 深度 和 广度 。 继 续 测试 可 能 提供 更 
深层 次 的 信息 ， 转 移 测试 可 能 提供 更 广泛 的 信息 。 


这 两 个 问题 的 本 质 是 测试 时 间 是 重要 但 有 限 的 资源， 测试 人 员 需 要 合理 地 
分 配 该 资源 ， 以 提供 “足够 好 ”的 信息 。“ 足 够 好 ”是 指 “ 有 足够 的 信息 可 供 客 
户 作出 好 的 决策 [Kaner01]。 测试 服务 拥有 许多 客户 ， 他 们 对 “足够 的 信 
息 ”* 有 不 同 的 期 望 。 例 如 ， 程 序 员 希 望 缺 陷 报 告 尽 可 能 详细 ， 测 试 经 理 则 项 
望 能 够 更 早 地 测试 软件 的 方方面面 。 测 试 人 员 需 要 综合 考虑 各 方面 因素 ， 
作出 合理 的 判断 。 


由 于 软件 项 目 千差万别 ， 并 不 存在 普 衣 适用 的 分 配 测试 时 间 的 指导 方案 ， 
i A re 
理 自己 的 时 间 。 


例如 ， 测 试 人 员 用 一 个 大 型 的 数据 文件 发 现 了 一 个 软件 错误 。 他 认为 删 去 
文件 中 的 一 些 无 关 数 据 ， 也 能 重 现 该 错误 。 精 简 的 数据 文件 会 使 缺陷 报告 
更 直接 明了 ， 但 是 需要 投入 时 间 。 这 时 ， 他 可 以 分 配 一 个 10 分 钟 的 时 间 
盒 ， 专 门 用 于 简化 数据 文件 。 在 这 个 时 间 盒 内 ， 他 可 能 获得 了 能 够 重 现 错 
误 的 最 小 文件 ， 也 可 能 没有 进展 。 无 论 如 何 ， 在 时 间 耗 尽 后 ， 他 停止 调 
查 ， 将 那 时 的 数据 文件 作为 缺陷 报告 的 附件 提交 。 


原则 上 ， 测 试 人 员 应 该 捉 供 “无 元 余 信 息 ” 的 缺陷 报告 。 但 是 ， 在 紧张 的 测 
试 进度 下 ， 测 斌 人员 只 能 用 有 限 的 时 间 去 打磨 测试 信息 。 一 般 情况 下 ，10 
分 钟 的 时 间 盒 能 让 测试 人 员 付出 足够 的 努力 ， 获 得 恰当 的 进展 。 人 花费 更 多 
的 时 间 很 可 能 降低 了 团队 效率 ， 因 为 了 解 实 现 细 市 的 程序 员 更 适合 调查 复 


杂 的 错误 。 


当 项 目 进度 不 紧张 时 ， 测 试 人 员 可 以 考虑 为 某 个 有 趣 的 缺陷 分 配 一 个 长 度 

为 30~60 分 钟 的 时 间 盒 ， 来 彻底 研究 缺陷 的 来 龙 去 脉 。 在 这 段 时 间 内 ， 他 进 

行 “刻意 的 练习 "”， 通 过 调查 该 缺陷 来 学 习 产 品 的 细 厄 、 测 试 工具 的 功能 

调试 技术 的 应 用 等 。 该 时 间 盒 的 主要 目的 是 通过 一 个 真实 的 案例 ， 来 学 习 

知识 并 练习 技能 。 经 过 儿 次 这 样 的 练习 ， 他 可 以 在 10 分 钟 的 时 间 盒 内 提供 

e 正常 时 间 盒 ( 短 时 间 盒 ) 是 为 了 提供 更 好 的 缺陷 报 
， 长 时 间 盒 是 为 了 提高 测试 人 员 的 知识 与 扩 能 。 


关于 是 否 继续 测试 的 问题 ， 测试 人 员 也 可 以 采用 时 间 侈 来 试探 。 他 可 以 分 
配 一 个 20 分 钟 的 时 间 盒 对 当前 功能 实施 后 续 测 试 。 当 时 间 耗 尽 ， 他 可 以 问 
自己 如 下 问题 。 

。 这 段 时 间 的 测试 发 现 新 信息 了 吗 ? 

。 这 些 信息 是 否 暗示 还 存在 严重 的 缺陷 ? 
继续 测试 的 付出 能 获得 好 的 回报 吗 ? 

为 了 尽快 发 现 软件 的 严重 错误 ， 我 是 否 应 该 测试 其 他 尚未 测试 的 功 
能 ? 


通过 思考 这 些 问 题 ， 他 可 以 更 好 地 安排 测试 时 间 。 ATA 的 选择 包括 再 安 
排 20 分 钟 的 时 间 盒 来 继续 测试 ， 或 开始 测试 其 他 功能 


时 间 盒 是 一 种 常用 的 时 间 限 制 启发 式 方法 [Weinberg08]。 它 简单 明了 ， 又 不 
失 弹 性 。 它 使 当前 的 任务 获得 稳定 的 时 间 ， 又 确保 其 他 有 价值 的 任务 不 会 
被 长 时 间 延 后 。 


2.2.2 ”通过 技术 调查 发 现 更 多 的 信息 


缺陷 提供 了 被 测 软 件 的 新 信息 。 利 用 新 信息 ， 测 试 人 员 可 以 对 相关 领域 进 
行 测试 ， 从 而 发 据 出 更 多 的 缺陷 。 做 后 续 测 试 有 两 个 好 处 .一 十 可 能 会 发 
现 一 些 额外 的 信息 ， 使 原先 的 缺陷 报告 更 完整 ， 二 是 可 能 会 发 现 一 些 相似 
或 相关 的 缺陷 ， 使 测试 人 员 对 软件 的 整体 质量 更 了 解 。 


后 续 测 试 的 一 个 切入 点 是 评估 当前 缺陷 的 风险 。 评 佑 风险 要 考察 两 个 因 
za: 风险 暴露 的 可 能 性 和 风险 暴露 的 损失 〈 更 多 讨论 请 参考 8.3 节 ) 。 


。 考察 “风险 暴露 的 可 能 性 ”是 要 评估 风险 转变 为 实际 失败 的 概率 。 对 于 
软件 缺陷 ， 测试 人 员 需 要 售 计 用 户 遇 到 此 缺陷 的 可 外 E 性 ， 这 通 间 要 求 
测试 人 员 发 现 又 露 此 缺陷 的 用 户 情景 。 对 于 复杂 的 软件 ， 这 样 的 用 户 


情景 可 能 有 多 个 。 测 试 人 员 的 目标 是 找到 最 容易 骏 露 缺陷 的 用 户 情 
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。 考察 “风险 暴露 的 损失 ”是 要 估计 失败 所 造成 的 损失 。 对 于 软件 缺陷 ， 
测试 人 员 需 要 佑 计 缺 陷 肾 露 所 带 来 的 最 大 用 户 损失 。 


为 了 发 现 这 些 信 息 ， 测 试 人 员 需 要 设计 多 种 测试 ， 以 考察 更 多 的 情况 。 例 
如 ， 革 位 测试 人 员 测 试 Microsoft PowerPoint， 该 软件 能 够 导入 多 种 格式 的 图 
片 ， 将 它们 放 在 页 面 上 ， 并 提供 一 组 “图 片 特效 ”( 如 柔 化 边缘 、 添 加 阴 

影 、 添 加 倒影 、 调 节 亮 度 等 ) 去 美化 图 片 。 测 试 人 员 在 测试 打印 功能 时 ， 
偶然 发 现 页 面 上 的 一 个 图 片 在 打印 结果 中 丢失 了 。 这 是 一 个 严重 的 缺陷 ， 
测试 人 员 决 定 再 进行 一 些 测 试 ， 来 调查 问题 的 普遍 性 和 严重 性 。 


。 他 用 不 同型 号 的 打印 机 来 打印 有 问题 的 文档 ， 来 检查 缺陷 是 否 与 打印 
机 硬件 或 驱动 相关 。 


。 有 些 软件 可 以 在 操作 系统 中 注册 “虚拟 打印 机 ?， 将 文档 发 送 到 该 打印 
机 能 够 生成 特定 格式 的 文档 (通常 是 PDF 文 档 ) 。 他 将 有 问题 的 文档 发 
送 给 “虚拟 打印 机 ?， 并 检查 生成 的 文件 。 如 采 缺 陷 重 现 ， 说 明 错误 与 
打印 机 类 型 和 驱动 无 天。 


PowerPoint 提 供 了 二 次 开发 功能 ， 人 允许 第 三 方 开发 者 调用 打印 API (应 
用 程序 编程 接口 ) 来 打印 文档 。 他 会 调用 该 API， 以 检查 错误 是 否 影响 
到 了 第 三 方 开发 者 。 


他 会 删 去 文档 中 的 一 些 文 字 和 图 片 ， 再 检查 丢失 的 岁 片 是 否 能 打印 。 
和 丢失 的 图 片 不 一 定 是 问题 的 
Was ° 


Hh PRA ie LE TT EA LAr oc G0 RIAAL A EBMPIA TL, (hast A 
换 为 其 他 BMP 格式 的 图 片 ， 再 添加 一 些 PNG 格 式 的 图 片 ， 然 后 打印 。 
通过 测试 ， 他 就 能 评 佑 问题 的 根源 是 特殊 的 图 片 《如 果 其 他 BMP 格式 
的 图 片 可 以 正确 打印 ) ， 还 是 特定 的 图 片 格式 《如果 BMP 格式 的 图 片 
都 不 能 打印 ， 但 是 PNG 格 式 的 图 片 可 以 打印 ) 。 


他 会 检查 网 片 是 否 被 施加 了 一 些 “ 图 片 特效 ”。 如 采 有 特效 ， 他 会 逐一 
去 除 “ 图 片 符 效 ” 并 打印 ， 以 检查 罪 几 祸首 是 否 为 特定 的 “图 片 特效 ”。 


如 琳 发 现 “ 图 片 特效 ”是 打印 错误 的 原因 之 一 ， 测 试 人 员 会 联想 到 “艺术 
字 ” 也 有 相似 的 “文字 特效 ” (如 柔 化 边缘 、 添 加 阴影 、 添 加 倒影 等 ) 。 


他 会 在 文档 中 增加 一 些 “ 艺 术 字 ”和 相应 的 “文字 特效 ”"， 并 测试 它们 能 否 
正确 打印 。 


他 回忆 发 现 缺陷 的 过 程 ， 想 起 在 打印 之 前 ， 他 对 文档 进行 了 许多 操 
作 。 于 是 ， 他 将 文档 复制 到 男 一 台 测 斌 机， 启动 被 测 的 排版 软件 ， 表 
次 打印 该 文档 。 通 过 该 测试 ， 他 可 以 判断 打印 错误 是 否 与 排版 软件 的 
状态 有 关 。 注 意 ， 他 并 没有 关闭 最 初 发 现 错误 的 软件 ， 因 为 该 进程 可 
能 级 合 重 要 的 错误 信息 。 


PowerPoint 还 可 以 生成 PDF 文件 。 考 虑 到 生成 PDF 的 代码 与 打印 代码 共 
享 了 一 些 代 码 ， 测 试 人 员 会 使 用 有 问题 的 文档 来 生成 PDF 文件 。 


在 任务 管理 右 中 ， 测 试 人 员 发 现 软件 在 打印 时 会 申请 许多 内 存 。 有 是 不 
征 因 为 内 存 管理 过 到 错误 ， 而 不 能 正确 打印 呢 ? 测试 人 员 会 切换 到 男 
一 全 内 存 更 小 的 机 船上 ， 以 检查 在 内 存 受 限 的 情况 下 打印 会 遇 到 什么 
问题 通常， 测试 人 员 会 准备 两 台 (或 多 台 ) 配置 差异 较 大 的 测试 机 
(如 不 同 的 CPU、 内 存 、 显 卡 、 操 作 系统 等 ) ， 能 够 快速 发 现 一 些 软 
人 硬件 配置 导致 的 问题 。 


有 时 后 续 测 试 并 不 需要 履 盖 以 上 所 有 变化 ， 但 是 某 些 严重 的 缺陷 可 能 要 求 
更 广泛 的 测试 。 为 了 局 发 思路 ， 测 试 人 员 可 以 参考 James Bach 提 出 的 7 大 产 
品 元 素 ， 从 而 多 角度 地 思考 测试 覆盖 [Bach12]。 


。 结构 : 软件 所 拥有 的 组 成 元 素 。 在 文件 级 别 ， 组 成 元 素 是 构成 软件 的 
各 种 文件 ， 在 代码 级 别 ， 组 成 元 素 包 括 语句 、 函 数 、 类 等 。 从 结构 角 
度 考 虑 测试 覆盖 ， 测 试 人 员 需 要 用 测试 去 覆盖 更 多 的 结构 元 素 。 在 上 
例 中 ， 测 试 人 员 所 做 的 后 续 测 试 大 多 提高 了 结构 黎 凋 。 


。 功能 : 软件 所 拥有 的 功能 。 为 了 获得 更 多 的 信息 ， 测 试 人 员 需 要 测试 
相 天 的 功能 ， 并 确保 覆盖 了 每 个 功能 的 相关 细节 。 在 上 例 中 ， 测 试 人 
从 而 检查 了 缺陷 的 影 
ia] yu, FE] ° 


数据 : 软件 所 使 用 的 数据 。 由 于 程序 能 够 接纳 、 处 理 、 输 出 的 数据 是 
无 穷尽 的 ， 测 试 人 员 需 要 将 数据 分 类 ， 并 确保 测试 了 每 个 分 类 的 典型 
案例 。 在 上 例 中 ,测试 人 员 用 多 种 方式 提高 了 数据 覆盖 :测试 新 的 

BMP 文 件 、 测 试 PNG 文 件 、 测 试 艺 术 字 、 测 试 “ 图 片 特效 ”产生 新 的 图 
乒 对 象 、 测 试 “文字 特效 ”产生 新 的 文字 对 象 、 测 试 简化 后 的 文档 等 。 


接口 ， 软 件 所 提供 的 操作 界面 ， 如 用 户 界面 、 系 统 界面 、API、 编 程 平 
台 的 SDK、 数 据 导入 和 导出 功能 等 。 在 上 例 中 ,测试 人 员 和 覆盖 了 软件 


提供 的 API， 还 通过 导入 更 多 的 图 片 履 兰 了 图 片 导 入 功能 。 


。 平台 : 软件 所 依赖 的 软 硬 件 环境 ， 这 包括 硬件 平台 、 网 络 环境 、 操 作 
系统 、 软 件 依赖 的 其 他 软件 和 网 络 服务 等 。 在 上 例 中 ， 测 试 人 员 用 新 
的 打印 机 和 新 的 测试 机 提高 了 平台 窗 盖 。 


操作 : 软件 可 能 的 使 用 方式 。 测 试 人 员 将 功能 组 合成 流程 ， 用 不 同 的 
顺序 调用 功能 ， 以 发 所 用 户 操 作 时 可 能 直到 的 问题 。 在 上 例 中 ， 测 试 
人 员 引 入 了 一 些 新 的 操作 流程 : 增删 图 乒 和 文字 后 再 打印 、 局 动 新 的 
被 测 进程 后 再 打印 。 


时 间 : 软件 与 时 间 相 关 的 元 素 。 许 多 错误 与 时 间或 时 序 有 关 ， 例 如 多 
线程 死 锁 、 多 线程 竞 态 条 件 、 客 户 端 与 服务 端 时 间 不 同步 引发 的 冲突 
等 。 在 并 发 编程 和 网 络 编程 日 趋 重要 的 今天 ， 这 些 问 题 需要 引起 测试 
人 员 的 重视 。 上 例 的 缺陷 与 时 间 没 有 明显 的 关系 ， 所 以 没有 专门 的 后 
续 测试 ， 不 过 一 些 测 试用 例 无 形 中 提高 了 时 间 窗 盖 。 例 如 ， 用 新 进程 
打开 文档 后 直接 打印 和 长 时 间 编 辑 文档 后 再 打印 ， 征 两 种 不 同 的 操作 
人 
司 的 行为 。 


测试 覆盖 并 非 唯一 的 测试 切入 点 ， 测 试 人 员 还 可 以 利用 漫游 测试 (参见 5.4 
T) 、 基 于 典型 缺陷 的 快速 测试 (B55) 等 方法 来 测试 产品 。 其 目的 
征 通 过 多 样 化 的 测试 来 获取 更 多 信息 ， 从 而 更 好 地 评估 缺陷 的 风险 。 如 果 
打印 丢失 只 出 现在 某 些 图 片 和 某 个 特效 的 组 合 上 ， 那 么 问题 的 普遍 性 较 
低 ， 但 严重 性 较 高 (因为 缺陷 导致 用 户 数据 丢失 ) 。 如 果 打 印 丢失 出 现在 
所 有 的 BMP 图 片上 ， 或 相似 的 情况 也 出 现在 文字 特效 上 ， 或 生成 的 PDF 文 
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通过 测试 ， 测 试 人 员 可 能 发 现 了 新 的 缺陷 ， 可 能 发 现 了 原 缺 陷 的 新 线索 ， 
也 可 能 没有 太 多 收获 。 无 论 如 何 ， 他 都 可 以 在 缺陷 报告 中 记录 做 了 什么 和 
得 到 了 什么 结果 ， 这 些 都 为 缺陷 的 评审 和 修复 提供 了 有 力 的 文 持 。 


2.2.3 ”处 理 难 以 重 现 的 缺陷 


难以 重 现 的 缺陷 是 测试 人 员 最 常 遇 到 的 工作 挑战 之 一 。 以 悲观 的 角度 来 

看 ， 难 以 重 现 的 缺陷 意味 着 软件 的 行为 受到 未 知 因素 的 影响 ， 搞 清楚 这 些 
因素 即便 不 是 “不 可 能 的 任务 "， 也 需要 大 量 的 时 间 。 以 乐观 的 角度 来 看 ， 

筷 既 然 出 现 过 ， 残 有 可 能 重 现 ， 即 便 不 能 修复 ， 项 目 团队 也 知晓 它 的 证 状 
和 风险 。 很 多 时 候 ， 重 现 一 个 缺陷 确实 需要 一 些 运 气 ， 但 是 测试 人 员 不 能 
单纯 地 依赖 运气 ， 他 需要 从 多 个 方面 努力 应 对 挑战 。 


第 一 ， 测 试 人 员 需 要 以 正确 的 态度 面 对 缺 陷 。 测 试 人 员 的 字典 中 没有 “不 能 
重 现 的 缺陷 "， 他 会 说 这 个 “ 间 葡 性 缺陷 ”很 难 重 现 ， 我 尚未 掌握 稳定 重 现 它 
的 所 有 因素 。 这 种 想法 使 测试 人 员 能 够 以 积极 的 态度 来 面 对 困 难 。 具 体 而 
言 ， 他 应 该 具有 如 下 信念 。 


。 缺陷 是 可 以 重 现 的 。 


。 目前 ， 我 已 经 掌握 了 重 现 该 缺陷 的 部 分 因素 ， 利 用 它们 尚 不 能 重 现 该 
缺陷 ， 或 只 能 以 较 低 的 概率 重 现 该 缺陷 。 


。 我 的 任务 是 发 现 更 多 的 因素 ， 以 稳定 地 重 现 该 缺陷 ， 或 以 更 高 的 概率 
重 现 该 缺陷 。 


第 二 ， 在 测试 过 程 中 ， 测 试 人 员 应 该 为 次 在 的 缺陷 做 好 准备 ， 当 一 个 缺陷 
紧 种 时 ， 他 可 以 收集 尽 可 能 多 的 信息 。 在 我 的 经 验 中 ， 有 些 缺 陷 之 所 以 没 
有 重 现 ， 是 因为 我 在 第 一 次 发 现时 没有 记 杂 足够 的 信息 。 原 以 为 我 能 通过 
重 现 去 记 杂 更 多 的 信息 ， 却 发 现 该 缺陷 “神秘 地 ”消失 了 。 无 奈 之 下 ， 我 只 
好 提交 一 份 信息 较 少 的 缺陷 报告 。 因 为 缺少 线索 ， 接 到 报告 的 程序 员 也 没 
有 重 现 该 缺陷 。 最 后 ， 缺 陷 被 解决 为 “没有 重 现 ”。 


在 吸取 了 教训 之 后 ， 我 会 在 测试 之 前 和 测试 过 程 中 做 以 下 准备 工作 。 

。 在 测试 机 上 安装 调 试 侨 Windbg， 并 将 它 设 为 默认 的 事后 调试 侨 。 当 被 
测试 软件 前 省 时 ，Windows 将 启动 Windbg 来 调试 该 朋 各 1。 
在 测试 机 上 安装 Web 调 试 代理 Fiddler* 。 如 果 软 件 会 用 HTTP 协 议 与 其 他 
计算 机 通信 ， 我 会 在 测试 之 前 打开 Fiddler， 让 它 监控 并 记录 软件 的 
HTTP 请 求 与 啊 应 。 
在 测试 机 上 安装 Process Explorer? 。 在 测试 之 前 启动 Process Explorer, 
让 它 监 视 软 件 所 使 用 的 资源 ， 重 点 关注 CPU、 内存、 句柄 等 关键 资源 
的 使 用 情况 。 
在 测试 机 上 安装 一 款 性 能 分 析 工 具 4。 如 采 软 件 遇 到 性 能 问题 ， 我 会 用 
它 获 取 软 件 的 性 能 跟踪 数据 。 


1 关于 Windbg 的 使 用 ， 可 以 参考 能 力 所 著 《Windows 用 户 态 程序 高 效 排 错 》， 全 文 下 载 : 
http://www.cnblogs.com/lixiong/archive/2010/02/11/1667516.html ° 


N 


详 见 http://www.fiddler2.com/fiddler2/ ° 


| 3 {3 Dl http://technet.microsoft.com/en-us/sysinternals/bb896653.aspx ° 


4 Windows 8 上 ，Windows Performance Toolkit 是 一 款 强大 的 性 能 分 析 工 具 ， 它 被 包含 在 Windows 8 
SDK 中 ， 下 载 地 址 : http://msdn.microsoft.com/en-us/windows/desktop/hh852363.aspx ° 


不 难看 出 ， 这 些 监控 工具 都 属于 调试 诊断 工具 。 因 为 它们 依赖 于 一 些 底层 
的 高 级 技术 ， 所 以 学 习 和 使 用 难度 较 高 。 不 过 ， 和 掌握 它们 的 基本 功能 就 可 
以 采集 到 许多 有 价值 的 信息 。 例 如 ， 内 存 转 储 文件 记录 了 一 个 进程 在 某 个 
时 刻 的 内 存 状态 ， 对 于 某 些 故障 (例如 进程 崩溃 ) 的 诊断 很 有 帮助 。 在 提 
交 缺 陷 报告 时 ， 测 试 人 员 可 以 考虑 将 内 存 转 储 文件 作为 报告 的 附件 ， 以 便 
程序 员 调 试 。 生 成 内 存 转 储 文件 有 多 种 方法 ， 本 节 介 绍 3 种 最 常用 的 方法 。 


图 2-1 展 示 了 如 何 利 用 任务 管理 器 来 生成 指定 进程 的 内 存 转 储 文件 。 测 试 人 
员 选 中 目标 进程 后 ， 右 击 鼠 标 ， 在 弹出 染 单 中 点 击 “ 创 建 转 储 文件 ”， 就 可 
以 获得 该 进程 的 内 存 转 储 文件 。 该 方法 只 使 用 Windows 操 作 系 统 目 带 的 工 
具 ， 适 用 于 所 有 安装 Windows 系 统 的 测试 机 。 


XHA HO) SEV) 
进程 ee | 应 用 历史 记录 | 启动 | 用 户 | 详细 信息 | 服务 | 


= 22% 70% 
名 称 状态 
a WMI Provider Host E 


二 WMI Provider Host 
触摸 键盘 和 手写 面板 
> @ 后 台 处 理 程序 子 系统 应 用 


we 微软 必 应 词 暴 (32 位 ) 结束 任务 (E) 


Windows 进程 (26) 资源 值 (V) 
调 坛 D) 

| ”创建 转 信 文 件 (O 
转 到 详细 信息 (G) 
打开 文件 位 置 (O) 

=] System 联机 搜索 (S) 

E] Windows 登录 应 用 程序 BEM 

E Windows 会 话 管理 器 


E] Client Server Runtime Prd 


fm) Client Server Runtime Pre 


E] Local Security Authority P 


< 


(A) 简略 信息 (D) 


图 2-1 使 用 任务 管理 器 生成 内 存 转 储 文件 


图 2-2 展 示 了 如 何 利 用 Process Exploerer 来 生成 指定 进程 的 内 存 转 储 文件 。 测 
斌 人员 选 中 目标 进程 后 ， 右 击 和 鼠标， 在 弹出 菜单 中 点 击 “ 生 成 转 储 ” (Create 
Dump) ， 再 选择 “生成 完整 转 储 ” (Create Full Dump) 就 可 以 获得 该 进程 的 
内 存 转 储 文件 。 该 方法 允许 测试 人 员 提供 转 储 文件 的 保存 路 径 和 文件 名 ， 
在 实际 测试 中 较 第 一 种 方法 更 为 方便 。 
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图 2-2 使 用 Process Explorer 生 成 内 存 转 储 文件 


图 2-3 展 示 了 一 个 注册 表 文 件 crash_auto_dump.reg， 双 击 它 可 以 将 其 记录 的 
设置 时 入 Windows 系 统 的 注册 表 j 根据 该 设置 ， Windows AF SA BATE 的 进 
程 调用 命令 : "c:\\debuggers\\windbg.exe" -p %ld -c ".dump /ma /u 
c:\dump\\crash.dmp;q\"。 该 命令 调用 安装 在 c:\debuggers 目 录 的 windbg.exe 

(测试 人 员 需 要 先 将 Windbg 安 装 在 该 目录 下 ) 将 崩 演 进程 的 内 存 转 储 文件 
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1 Windows Registry Editor Version 5.00 


[HKEY_LOCAL _MACHINE\SOFTWARE\Microsoft\Windows NT\CurrentVersion\AeDebug] 
"Auto"="1" 
“Debugger”="\"c:\\debuggers\\windbg.exe\" -p tld -c \".dump 


"UserDebuggerHotKey"=dword: 00000000 


3 
4 
5 /ma /u c:\\dump\\crash.dmp;q\"” 
6 


[BKEY LOCAL MACHINE\SOFTWARE\Microsoft\Windows NT\CurrentVersion\AeDebug\AutoExclusionList] 


9 “DWM. exe”=dword: 00000001 
10 “trustedinstaller.exe”=dword: 00000001 
< 


图 2-3 使 用 Windbg 自 动 生成 崩溃 进程 的 转 储 文件 


本 节 介绍 的 工具 适合 Windows 平 台 上 的 软件 测试 。 在 其 他 操作 系统 和 运行 环 
境 上 工作 的 测试 人 员 可 以 结合 具体 任务 ， 采 用 其 他 调试 诊断 工具 ， 以 便 第 
一 时 间 捕获 缺陷 的 信息 。 熟 悉 这 些 工具 ， 并 让 它们 随时 可 用 ， 能 显著 提 高 
测试 效率 。 


第 三 ， 如 果 第 一 次 收集 的 信息 并 不 能 重 现 或 定位 缺陷 ， 测 试 人 员 需 要 做 后 
续 测试 ?。 测 试 之 前 ， 测 试 人 员 需 要 增强 软件 运行 的 可 见 性 。 缺 陷 没有 重 现 
说 明 还 有 一 些 测试 人 员 没有 观察 到 的 关键 因素 ， 如 果 不 提高 可 见 性 ， 很 可 
能 还 是 观察 不 到 这 些 因 素 。 因 为 软件 运行 非常 复杂 ， 测 试 人 员 需 要 熟悉 软 
人 才能 有 效 地 观察 。 以 下 是 一 些 和 常见 的 观察 方 
Ps 


js James Bach 的 文章 How to Investigate Intermittent Problems (http://www.satisfice.com/blog/archives/34 


) 提供 了 许多 好 的 测试 想法 。 


。 软件 错误 可 能 是 因为 软件 不 能 获得 某 种 操作 系统 资源 ， 如 内 存 、 文 
件 、 网 络 端口 、 注 册 表 键 值 等 ， 也 可 能 是 因为 它 错误 地 使 用 了 资源 。 
测试 人 员 需 要 用 工具 (如 Process Explorer) 观察 软件 和 操作 系统 使 用 
和 持 有 哪些 资源 。 


。 软件 错误 可 能 是 因为 软件 处 于 不 正确 的 状态 。 这 通常 体现 为 某 些 变 量 
的 值 出 了 问题 。 测 试 人 员 可 以 用 调试 器 (如 Windbg) 观察 相关 变量 的 
值 ， 并 留意 它们 的 变化 。 


。 软件 错误 可 能 是 因为 操作 的 顺序 或 时 序 不 正确 。 测试 人 员 可 以 研究 软 
件 的 日 志 ， 了 解 软件 的 每 一 步 操作 及 其 耗 时 。 


。 软件 错误 可 能 是 因为 软件 所 调用 的 软件 或 服务 返回 了 它 不 能 处 理 的 数 
据 。 如 果 软 件 调用 网 络 服务 ， 测 试 人 员 可 以 用 工具 (如 Fiddler) 监控 
网 络 通 信 ， 以 了 解 软 件 发 送 了 什么 数据 、 收 到 什么 数据 。 如 采 所 调用 
的 软件 或 服务 有 日 志 ， 测 试 人 员 需 要 将 日 志 记 录 设 置 为 最 详细 的 级 
别 ， 并 仔细 阅读 日 志 内 容 。 一 些 诊断 工具 (如 Windows Performance 
Toolkit) 能 够 观察 进程 之 间 的 调用 关系 ， 有 助 于 识别 软件 之 间 的 依赖 关 
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。 软件 错误 可 能 是 数据 库 返 回 了 它 不 能 处 理 的 数据 。 测 试 人 员 可 以 浏览 
数据 库 中 的 数据 ， 检 查 返 回 数据 的 表 、 视 图 、 存 储 过 程 、 函 数 等 对 
象 ， 以 推测 数据 的 可 能 取 值 。 


”有 些 软件 内 建 了 一 些 调试 辅助 功能 ， 能 够 提供 软件 运行 的 详细 信息 。 
测试 人 员 可 以 司 动 这 些 功 能 或 安 闻 具有 这 些 功能 的 调试 版 本 。 


第 四 ， 测 试 人 员 应 该 用 “科学 实验 ”的 策略 来 指导 缺陷 重 现 : 提出 假设 ， 根 
据 假设 设计 实验 ， 用 实验 结果 推翻 假设 或 提出 新 假设 。 在 观察 的 基础 上 ， 
测试 人 员 结合 自身 经 验 ， 可 以 提出 一 些 对 错误 原因 的 猜测 。 然 后 ， 他 选择 
一 个 猜测 ， 在 它 的 指引 下 ， 设 计 一 批 测试 去 党 试 重 现 缺 陷 。 如 果 这 些 测试 
没有 获得 有 价值 的 新 发 现 ， 他 可 以 选择 另 一 个 猜测 ， 再 设计 并 执行 测试 。 
如 果 测 试 中 发 现 了 新 情况 ， 他 可 以 提出 新 猜测 并 记录 下 来 ， 然 后 根据 新 猜 
测 开 始 测试 。 


重 现 缺陷 很 容易 陷入 言 目 的 演 试 ， 直 到 测试 人 员 感 到 疲倦 而 放弃 ， 也 没有 
多 少 进展 。 提 出 错误 猜测 使 得 测试 有 明确 的 目标 ， 在 它 的 指引 下 测试 人 员 
可 以 目 由 发 挥 ， 而 不 会 迷失 方向 。 整 个 过 程 的 特征 是 设 定 明 确 的 目标 、 用 
实验 去 获得 信息 、 根 据 新 信息 建立 新 目标 。 


五 ， 调 碍 一 个 难以 重 现 的 缺陷 与 软件 调试 非常 相似 ， 测 试 人 员 可 以 借鉴 
一 些 调试 原则 和 方法 。 调 试 专家 David J. Agans 的 9 条 调试 规则 [Agans06] 不 
但 可 以 指导 调试 ， 还 能 帮助 测试 。 


。 理解 系统 (Understand the system) 。 解 决 一 个 具体 问题 ， 很 多 时 候 
需要 在 整体 上 理解 系统 。 重 现 一 个 缺陷 也 要 求 测试 人 员 在 宏观 上 和 细 
节 上 都 能 把 握 软件 。 在 项 目 全 程 ， 测 试 人 员 需 要 积极 地 学 习 被 测 软件 
的 领域 知识 、 产 品 架 构 、 代 码 实现 、 技 术 平 台 、 调 试 工 具 等 。 只 有 较 
全 面 地 理解 软件 ， 才 能 有 效 地 分 析 信 息 、 设 计 实 验 、 快 速 测试 。 软 件 
开发 与 测试 没有 捷径 ， 持 续 积 累 才 是 正 途 。 


。 制造 失败 (Make it fail) 。 影 响 软件 行为 的 因素 包括 软件 自身 的 状态 
和 软件 的 外 部 输入 (用 户 的 输入 、 操 作 系 统 的 输入 、 其 他 软件 的 输入 


We 


等 ) 。 测 试 人 员 应 应 该 多 举 这 些 影 响 软 件 行 芒 的 AR, Fear pee Aa 
可 能 与 当前 缺陷 有 关 。 然 后 ， 他 需要 大 量 尝 斌 这些 因素 的 取 值 组 合 ， 
并 试 着 总 结 缺 陷 重 现 的 模式 。 有 时 测试 人 员 需 要 求助 于 程序 员 ， 让 他 
提供 更 好 的 测试 钧 子 以 控制 软件 的 状态 和 输入 ， 或 提供 更 好 的 调试 日 
志 以 了 解 软 件 的 状态 和 输出 。 


(Quit thinking and look) “。 在 猜测 引发 错误 的 原因 之 

应 该 仔细 地 观察 软件 的 状态 、 操 作 系统 的 状态 、 所 依赖 的 软件 或 
服务 的 状态 . 并 分 析 软 件 的 输入 数据 和 输出 数据 。 细 心 观察 可 以 更 好 
地 推测 跨 陷 原因 ， 设 计 更 有 效 的 测试 ， 相 反 ， 和 任 空 猜测 很 可 能 使 测试 
误 入 歧途 ， 费 时 费力 却 没有 收获 。 


分 而 治之 (Divide and conquer) 。 如 果 运 行 一 次 测试 需要 大 量 的 准备 
工作 (如 初始 化 数据 库 、 复 制 数据 文件 、 重 启 服务 等 ， 测 试 就 不 能 
提供 快速 的 反馈 ， 缺 陷 调 查 的 效率 就 很 低 。 为 此 ， 测 试 人 员 需 要 建立 
一 个 可 以 快速 测试 的 环境 ， 这 通常 需要 隔离 一 些 无 关 的 数据 、 软 件 和 
服务 ， 也 需要 测试 钩子 的 帮助 。 在 此 环境 中 ， 测 试 人 员 通 过 逐次 逼近 
来 缩小 搜索 的 范围 ， 即 通过 测试 来 排除 一 些 影 响 软件 的 因素 ， 从 而 慢 
慢 合 定 铬 干 重要 的 因素 。 


一 次 只 做 一 处 修改 (Change one thing at a time) ° TER ASP, BY 
学 家 一 次 只 修改 一 个 变量 的 值 ， 从 而 了 解 该 变量 对 于 实验 结果 的 影 

阳 。 同 样 ， 在 测试 中 ， 测 试 人 员 一 次 只 修改 一 个 变量 的 什 ， 从 而 了 解 
它 对 软件 行为 的 影响 。 


保持 审计 跟踪 (Keep an audit trail) 。 在 调查 过 程 中 ， 要 记录 下 所 做 
的 测试 和 测试 结果 。 麻 网 隐藏 在 细节 中 ， 而 人 的 记忆 总 是 不 可 靠 的 。 
应 该 将 测试 、 软 件 和 环境 的 细节 记录 下 来 ， 作 为 缺陷 报告 的 一 部 分 


检查 基本 假设 (Check the plug) 。 如 果 测 试 人 员 的 调查 没有 进展 ， 他 
也 许 要 质疑 一 下 他 的 基本 假设 。 面 对 复杂 的 问题 ， 测 试 人 员 的 思考 常 
党 基于 一 些 能 简化 情况 的 假设 ， 例 如 他 会 假定 ' 服务 句 返 回 的 数据 应 该 
是 没 问 题 的 ”\“ 这 个 模块 一 Aí 很 稳定 ， 不 会 出 错 ”、“ 错 误 检 查 代码 一 定 
能 过 滤 挥 无 效 的 输入 数据 ”等 。 这 些 假设 在 大 多 数 时 候 成 立 ， 但 是 并 非 
水 远 如 此 ， 要 质疑 并 检查 它们 $ 


获得 全 新 视角 (Get a fresh view) 。 如 果 重 现 的 努力 没有 成 功 ， 测 试 
人 员 可 以 同 程序 员 或 测试 同伴 请 教 。 软 件 是 如 此 的 复杂 ， 每 个 人 都 有 
盲点。 向 别人 解释 问题 ， 会 强迫 测试 人 员 组 织 思 路 ， SCA 助 于 他 跳出 
原来 的 思维 模式 ， 获 得 狐 的 见解 。 也 许 和 叙述 完毕 ， 测 试 人 员 束 获得 了 


新 的 测试 灵感 。 此 外 ， 被 咨询 人 可 能 知道 一 些 知识 ， 能 够 提供 有 效 的 
测试 策略 或 关键 线索 ， 这 会 显著 提高 调查 效率 。 


如 果 你 没有 修复 它 ， 它 就 一 直 存 在 (If you didn't fix it, It ain't fixed) 

o H Ee RAS RY, Wis Aa NB a: “ 它 一 定 随 风 而 
去 了 。” 缺 陷 在 测试 环境 中 不 出 现 ， 但 可 能 在 用 户 的 环境 中 出 现 ， 更 可 
能 在 公司 领导 癌 媒 体 做 公开 演示 时 出 现 。 为 了 让 项 目 团队 获得 必要 的 
言 息 ， 测 试 人 员 应 该 提交 缺陷 报告 。 调 查 不 可 重 现 的 缺陷 可 能 是 一 
个 “时 间 黑 洞 "。 测试 人 员 应 该 根据 缺陷 的 严重 程度 ， 设 定 不 同 长 度 的 
时 间 盒 。 在 时 间 耗 尽 时 ， 他 可 以 自问 :“ 是 否 妃 加 一 个 时 间 盒 继续 调 
E? 在 下 一 个 时 间 盒 中 能 获得 突破 吗 ? 对 于 项 目 而 言 ， 是 继续 调查 还 
是 开始 新 的 测试 更 有 利 ? ”经 过 评估 ， 他 可 以 决定 是 继续 调查 ， 还 是 结 
束 调 查 并 提交 缺陷 报告 。 

第 六 ， 在 结束 调查 后 ， 测 试 人 员 需 要 提交 缺陷 报告 。 如 有 果 测 试 人 员 还 是 未 
能 稳定 重 现 缺陷 ， 他 需要 非常 仔细 地 编写 缺陷 报告 。 因 为 信息 不 足 ， 草 率 
的 缺陷 报告 大 多 被 解决 为 “不 能 重 现 ” 或 “不 予 修复 ”。 为 了 让 程序 员 和 缺陷 评 
审 者 获得 足够 的 信息 ， 测 试 人 员 需 要 在 缺陷 报告 中 写 明 以 下 内 容 。 

。 在 报告 的 开头 坦承 该 缺陷 不 能 稳定 地 重 现 。 

。 估算 该 缺陷 的 重 现 概 率 。 它 只 出 现 了 一 次 吗 ? 还 是 在 某 个 情景 中 ， 以 
N% 的 概率 重 现 ? 对 概率 的 估算 不 必 退 求 精确 ， 只 要 根据 测试 记录 进行 
简单 计算 即 可 。 

。 该 缺陷 可 能 重 现 的 情景 有 哪些 ? 在 各 个 情景 中 重 现 的 概率 是 多 少 ? 

。 如 有 果 该 缺陷 重 现 ， 所 造成 的 最 严重 后 果 是 什么 ? 
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。 是否 有 人 提交 过 类 似 的 缺陷 ? 那些 缺陷 提供 了 哪些 信息 ? 


。 根据 现 有 人 信息， 缺陷 人 员 对 错误 根源 有 哪些 推测 。 只 要 合 情 合理 ， 有 
事实 依据 ， 测 试 人 员 束 可 以 大 胆 地 发 表 目 己 的 看 法 。 


随 着 项 目的 发 展 ， 测 试 人 员 可 以 分 析 已 知 的 难以 重 现 的 缺陷 。 从 这 些 缺 陷 
中 ， 他 也 许可 以 尽 结 出 奢 干 模式 ， 某 些 缺陷 有 相似 的 调用 栈 、 某 些 缺 陷 在 
特定 的 环境 中 可 能 重 现 、 某 些 缺 陷 在 特定 的 操作 序列 下 可 能 出 现 等 。 与 程 


序 员 或 测试 同伴 讨论 这 些 模式 可 能 会 发 现 缺 陷 的 根源 ， 也 可 能 会 获得 重 现 
缺陷 的 新 思路 。 


23 ”编写 高 质量 的 缺陷 报告 

本 节 介绍 一 些 技巧 和 实践 方法 ， 来 帮助 测试 人 员 编写 高 质量 的 缺陷 报告 。 
因为 不 同 的 项 目 团队 对 测试 人 员 有 不 同 的 期 望 ， 读 者 在 采纳 这 些 基本 实 中 
时 ， 需 要 做 一 些 因地制宜 的 变化 。 

本 节 假 设 项 目 团队 使 用 基于 数据 库 的 缺陷 管理 系统 来 跟踪 缺陷 报告 。 团 队 
成 员 可 以 向 系统 提交 新 的 缺陷 报告 ， 修 改 和 解决 已 有 缺陷 报告 ， 查 询 符合 


一 定 条 件 的 缺陷 报告 。 在 此 过 程 中 ， 缺 陷 管理 系统 提供 审计 跟踪 功能 ， 记 
录 对 缺陷 报告 所 做 的 一 切 修改 。 


2.3.1 为 每 一 个 缺陷 单独 提交 一 份 缺 陷 报告 ， 小 缺陷 也 是 如 此 


为 了 提供 完整 的 信息 ， 测 试 人 员 应 该 报告 他 发 现 的 所 有 缺陷 。 为 了 让 每 一 
个 缺陷 都 得 到 审计 跟踪 ， 测 试 人 员 应 该 为 其 提供 独立 的 缺陷 报告 。 


有 时 ， 测 试 人 员 会 在 一 份 报告 中 提交 了 几 个 缺陷 。 这 可 能 会 导致 一 些 问 
题 。 


缺 隐 报 告 的 数目 会 少 于 缺 栈 的 数目 ， 这 使 缺 隔 统 计 不 能 狼 得 准确 的 信 


缺陷 报告 中 的 缺陷 可 能 有 不 同 的 根源 ， 需 要 不 同 的 解决 方案 ， 需 要 不 
同 的 程序 员 〈 甚 至 不 同 的 项 目 团队 ) 来 解决 。 一 份 报告 不 能 很 好 地 跟 
踩 所 有 缺陷 的 修复 。 


一 份 缺陷 报告 只 有 一 个 优 移 级 和 严重 性 ， 但 是 它 所 提交 的 缺陷 可 能 拥 
E E E 


因为 不 能 很 好 地 标识 与 跟踪 每 一 个 缺陷 ， 某 个 缺陷 可 能 被 程序 员 和 测 
试 人 员 所 忽略 ， 以 致 于 没有 被 修复 。 

为 了 避免 这 些 问 题 ， 测 试 人 员 需 要 将 此 类 缺陷 报告 拆 分 成 多 个 缺陷 报告 ， 
让 每 一 个 缺陷 得 到 独立 的 报告 。 


然而 ， 缺 陷 管理 系统 的 关键 问题 是 行政 性 的 ， 而 不 是 技术 性 的 [Kaner99] 。 
在 某 些 项 目 环境 中 ， 测 试 人 员 提交 缺陷 报告 的 动力 会 被 压 柳 。 一 个 典型 的 
情况 是 项 目 管理 者 用 缺 隐 报 告 的 数量 来 评价 程序 员 的 绩效 ， 这 势必 导致 程 
序 员 对 缺陷 报告 很 敏感 。 他 也 许 会 对 测试 人 员 说 :“ 你 如 果 发 现 缺 陷 ， 请 不 
要 提交 缺陷 报告 ， 而 是 发 邮件 通知 我 。” 这 让 测试 人 员 处 于 两 难 的 境地 :一 
方面 ， 他 知道 癌 项 目 团队 提供 高 质量 的 信息 是 测试 人 员 的 基本 责任 ， 隐 泸 
信息 将 伤害 测试 人 员 的 “信誉 "， 男 一 方面 ， 他 不 想 破 坏 与 开发 伙伴 的 天 
系 ， 这 是 高 效 测试 的 基本 条 件 之 一 。 


坦率 地 说 ， 测 试 人 员 没 有 能 力 和 资源 去 解决 “不 民 管 理 ” 所 市 来 的 问题 ， 这 
是 项 目 经 理 或 更 高 层 经 理 的 职责 。 面 对 此 类 情况 ， 测 试 人 员 还 是 应 该 正常 
报告 每 一 个 缺陷 ， 因 为 隐藏 缺陷 将 伤害 项 目 团队 对 测试 人 员 的 信赖 ， 而 “可 
信赖 "是 一 个 信息 提供 者 的 工作 基础 。 同 时 ， 他 和 需要 向 “ 受 影响 * 的 程序 员 解 
释 他 的 做 法 ， 并 强调 缺陷 报告 从 来 都 是 对 事 不 对 人 “。 更 积极 的 行动 是 ， 他 
应 该 当面 向 他 的 领导 (通常 是 测试 经 理 或 项 目 经 理 ) 解释 当前 的 管理 流程 
给 测试 工作 市 来 了 困难 ， 并 将 对 项 目 产生 不 好 的 影响 。 如 有 果 能 联合 其 他 测 
试 同事 一 起 提出 建议 ， 领 导 者 会 更 容易 看 到 问题 之 所 在 。 


2.3.2 ”仔细 编写 缺陷 报告 的 标题 


在 阅读 缺陷 报告 时 ， 读 者 总 是 先 读 到 标题 。 例 如 ， 候 陷 评 审 小 组 会 查询 所 
有 活跃 的 缺陷， 碍 询 结 末 是 一 个 缺陷 标题 的 列表 ， 人 缺陷 标 题 为 进一步 的 分 
拣 提 供 了 基础 。 再 例如 ， 程 序 员 会 查询 所 有 指派 给 目 己 的 缺陷 ， 通 过 阅读 
缺陷 列表 ， 来 了 解 当 前 竺 修复 的 缺陷。 再 例如 ， 测 斌 经 理 报告 测试 进展 ， 

其 报告 会 列举 当前 活跃 的 缺陷 (体现 为 一 个 缺陷 标题 的 列表 ) 来 描述 软件 
开发 的 状态 ， 报 告 的 读者 对 缺陷 所 有 判断 纤 来 目标 题 。 

为 了 帮助 缺陷 报告 的 读者 更 快 、 更 准确 地 理解 缺陷 ,测试 人 员 需 要 认真 编 
写 标 题 。 一 个 较 好 的 模式 是 “条 件 ?失败 *[Karen08]， 即 阐述 在 何 种 情况 下 软 
件 会 发 生 什么 样 的 失败 。 以 下 是 一 些 具体 的 例子 。 


ee 


。 当 打开 一 个 旧版 本 的 文件 〈 版 本 号 : 2.0) 时 ， 软 件 报告 打开 文件 失败 
(错误 代码 : XYZ) 。 


a A T 
ABC) 。 


标题 要 客观 陈述 软件 所 遇 到 的 问题 ， 描 述 触 发 问题 的 情景 和 问题 的 证 状 。 
这 有 助 于 读 到 标题 的 人 推断 缺陷 的 严重 性 和 可 能 的 技术 原因 。 测 试 人 员 还 
可 以 在 标题 中 加 入 一 些 技术 细节 ， 如 错误 代码 和 函数 名 ， 这 使 得 相似 症状 
的 问题 可 以 相互 区 别 。 

2.3.3 ” 像 编写 详细 测试 用 例 那 样 编写 重 现 步 又 


在 编写 缺陷 的 重 现 步 又 时 ， 测 试 人 员 可 以 参考 详细 测试 用 例 的 编写 规则 ， 
使 得 重 现 步 又 尽 可 能 地 具体 、 无 歧义 。 


。 如 有 条 缺陷 与 环境 有 关 ， 在 重 现 步骤 之 前 增加 “测试 配置 ”一 站 ， 写 下 测 
试 所 使 用 的 操作 系统 、 网 络 服务 、 网 页 浏览 器 等 信息 。 


。 在 重 现 步 台中 ， 为 每 一 个 操作 编号 ， 以 清 苞 地 表明 第 1 步 做 什么 、 第 2 
步 做 什么 。 


。 不 要 假定 缺陷 报告 的 读者 对 软件 很 熟悉 ， 要 清楚 地 写 下 每 一 步 操作 的 
内 容 ， 例 如 点 击 了 什么 按钮 、 在 哪个 控件 中 输入 了 什么 字符 等 。 


© 不 要 包含 不 必要 的 步骤 。 

。 清楚 地 写 下 执行 操作 序列 后 的 “预期 结果 ”。 

。 清楚 地 写 下 执行 操作 序列 后 的 “实际 结果 ”。 

。 如果 可 以 提供 更 多 的 信息 ， 可 以 将 它们 写 入 “附加 信息 ”一 节 。 
以 下 是 一 个 重 现 步骤 的 例子 。 

测试 配置 : 测试 机 安装 64 位 Windows 8.1 操 作 系统 ，32GB 内 存 。 

重 现 步骤 : 

1. 关闭 计算 机 上 的 所 有 窗口 。 

2. 启动 产品 。 

3. 用 产品 打开 缺陷 报告 附件 中 的 文档 。 

4. 点 击 “ 文 件 > 打印 ”。 


5. 在 打印 对 话 框 中 选择 “Micorosft XPS Document Writer” ° 


6. 点 击 “ 打 印 ”。 
7. 保存 XPS 文 件 。 
预期 结果 : 所 生成 的 XPS 文 档 共 10 页 ， 每 页 正确 显示 原文 档 的 内 容 。 


实际 结果 : 所 生成 的 XPS 文 档 共 10 页 ， 但 是 第 8、9、10 页 上 缺少 原文 
档 所 包含 的 图 片 。 


附加 信息 : 在 打印 过 程 中 ， 产 品 进程 的 内 存 占用 持续 增长 ， 从 200MB 
一 直 增 长 到 1.1GB。 在 打印 结束 后 ， 内 存 占 用 降 回 400MB。 详 细 信 息 请 
参考 附件 中 的 “内 存 占 用 变化 趋势 .jpg”。 

2.3.4 ”使 用 缺陷 模板 来 提交 缺陷 
许多 缺陷 管理 系统 支持 缺陷 报告 模板 ， 测 试 人 员 应 该 充分 利用 该 功能 。 首 
先 ， 他 可 以 利用 模板 为 一 些 缺 陷 报 告 字 段 设置 默认 值 ， 这 提高 了 编写 报告 
的 速度 。 其 次 ， 缺 陷 模 板 定 义 了 缺陷 报告 的 结构 ， 能 提醒 测试 人 员 报 告 一 
些 重要 的 信息 。 以 下 是 一 份 简 化 了 的 缺陷 模板 ， 它 用 于 提交 “打印 ”相关 的 
HR o 

标题 : [打印 ] 在 什么 情况 下 ， 打 印发 生 何 种 故障 

功能 路 径 : 产品 家 族 X\ 产 品 Y\ 打 印 

严重 程度 ， 严重 

测试 配置 : 请 提供 操作 系统 、 打 印 机 型 号 等 信息 


重 现 步骤 : 


实际 结果 : 
附加 信息 : 


请 考虑 提供 如 下 信息 。 
。 用 户 影响 
。 重 现 此 缺陷 的 其 他 情景 
。 有 助 于 调试 的 任何 信息 (如 屏幕 截图 、 画 数 调 用 栈 、 运 行 日 志 、 


内 存 转 储 等 ) 

。 该 缺陷 能 否 稳定 重 现 ? 如 果 是 间歇 性 重 现 ， 重 现 概率 是 多 少 ? 有 
没有 更 多 的 信息 ? 

。 相 关 缺 陷 


这 份 缺陷 模板 包含 “用 户 影响 ”等 提示 词 ， 它 们 提醒 测试 人 员 从 特定 的 角度 
来 提供 信息 。 测 试 人 员 可 以 根据 项 目的 特点 ， 在 缺陷 模板 中 加 入 恰当 的 提 
示 词 。 在 报告 某 个 缺陷 时 ， 测 试 人 员 可 能 会 名 略 一 些 提 示 词 ， 因 为 它们 并 
不 适用 于 当前 缺陷 ， 但 这 是 测试 人 员 思 考 后 的 决定 ， 而 不 是 遗 饼 此 类 信息 
而 导致 的 芷 漏 。 


在 日 钊 工作 中 ， 我 会 制作 几 份 缺陷 模板 ， 分 别针 对 不 同 的 功能 模块 或 缺陷 
类 型 。 随 着 项 目的 进展 ， 我 会 修订 缺陷 模板 或 增加 新 的 模板 ， 使 得 它们 符 
合 项 目 团队 对 缺陷 的 要 求 。 


2.3.5 “在 编写 缺陷 报告 时 ， 要 考虑 缺陷 查询 


有 时 ， 测 试 人 员 需 要 查询 缺陷 管理 系统 。 例 如 ， 他 发 现 了 一 个 缺陷 ， 在 提 
交 缺 陷 之 前 ， 他 会 搜索 缺陷 管理 系统 ， 以 了 解 该 缺陷 是 否 已 经 被 握 区 。 又 
例如 ， 在 发 现 一 个 缺陷 后 ， 他 想起 以 前 曾经 提交 过 一 个 相似 的 缺陷 ， 为 了 
了 解 那个 缺陷 是 如 何 解决 的 ， 他 会 查询 缺陷 管理 系统 。 再 例如 ， 有 人 询问 
测试 人 员 为 什么 软件 是 如 此 设计 的 ， 他 回忆 起 是 某 个 缺陷 修复 决定 了 当前 
的 设计 ， 于 是 他 会 搜索 那个 缺陷 。 


可 见 ， 碍 询 缺 陷 是 一 件 常 见 的 任务 。 为 了 使 得 询 更 轻松 ， 测 试 人 员 在 编写 
缺陷 报告 时 要 上 略 加 其 酌 。 在 编写 缺陷 标题 时 ， 他 可 以 目 问 :“ 如 果 几 周 后 我 
查询 此 报告 ， 我 会 使 用 什么 关键 词 来 搜索 标题 ? 其 他 测试 人 员 会 使 用 什么 
关键 词 ? "在 列举 了 一 组 关键 词 之 后 ， 他 可 以 选择 一 两 个 号 入 标题 。 如 采 缺 
隐 报 告 提供 了 “关键 词 * 字 段 ， 他 可 以 将 关键 词 们 一 起 写 入 该 字段 。 如 果 没 
有 专属 的 “关键 字 ? 字 段 ， 测 试 人 员 可 以 将 这 些 关 键 词 写 入 报告 正文 。 


有 时 ， 测 试 人 员 会 搜索 “ 重 现 步 又 ?或 "附加 信息 ”。 为 此 ， 测 试 人 员 应 该 将 尽 

多 的 细 市 写 入 这 些 部 分 。 最 典型 的 例子 是 软件 朋 溃 时 的 函数 调用 栈 。 
如 琳 缺 陷 报 告 总 是 包含 朋 溃 时 的 函数 调用 栈 ， 测 试 人 员 用 函数 名 搜索 束 可 
以 发 现 此 函数 有 关 的 软件 朋 演 。 


2.3.6 ”链接 相关 的 缺陷 


有 些 缺 陷 出 现在 常见 场景 或 共享 模块 中 ， 会 被 多 人 发 现 。 为 了 避免 重复 提 
交 某 个 缺陷 ， 测 试 人 员 需 要 在 缺陷 管理 系统 中 搜索 相似 的 缺陷 。 如 有 果 该 缺 
陷 已 经 说 提 交 ， 测 试 人 员 可 以 将 目 己 发 现 的 信息 补充 到 已 有 的 缺陷 报告 

中 。 测 试 人 员 不 应 该 假设 很 明显 的 缺陷 一 定 会 被 同事 提交 ， 根 据 查 询 结 

采取 行动 才 征 合理 的 策略 。 


有 了 时， 测试 人 员 会 发 现 一 些 症 状 相 似 的 缺陷 ， 但 并 不 能 确认 它们 的 错误 原 
因 是 相同 的 。 对 于 这 种 情况 ， 他 应 该 为 每 一 个 缺陷 单独 提交 一 个 缺陷 报 

并 将 它们 链接 在 一 起 ， 从 而 让 程序 员 或 缺陷 评审 者 了 解 完 整 的 信和 已 。 
有 些 缺陷 管 理 系 统 文 持 “ 链 接 ” 缺 陶 ， 只 要 输入 相关 缺陷 的 编号 ， 系 统 束 可 
以 将 几 个 缺陷 链接 在 一 起 。 如 有 缺陷 管理 系统 不 文 持 “ 链 接 ”， 测 试 人 员 可 
以 选择 一 个 缺陷 作为 “ 主 缺 陷 *， 在 其 他 缺陷 报告 中 写 下 主 缺 陷 的 编号 ， 并 
在 主 缺陷 中 记录 其 他 缺陷 的 编号 。 


2.3.7 ”注意 缺陷 报告 的 可 读 性 
缺陷 报告 是 面向 整个 团队 的 公开 文档 ， 应 该 提高 可 读 性 以 服务 读者 。 测 试 
人 员 不 必 反 复 推 项 报 告 的 字 名 | 他 只 需要 注意 一 些 基本 规则 ， 就 可 以 提高 
报告 的 可 读 性 

。 避免 错别字 和 病句 。 如 果 用 英语 撰写 报告 ， 利 用 字 处 理 软件 进行 拼写 

和 语法 检查 ， 能 够 立即 发 现 并 修正 明显 的 问题 。 对 于 中 文 报告 ， 写 完 

之 后 通读 一 遍 就 可 以 改正 大 多 数 文字 错误 。 

。 尽量 用 数字 列表 来 记录 重 现 步骤 。 

。 尽量 用 符号 列表 来 罗列 事实 。 

用 空 行 分 隔 报告 的 不 同 部 分 ， 在 视觉 上 突显 报告 的 结构 。 
“用 屏 疾 截图 、 视 频 录 像 、 内 存 转 储 等 附件 来 提供 更 多 的 信息 。 有些 缺 
陷 用 文字 很 难 描 述 ， 但 是 一 幅 截 图 或 一 ee 


题 。 关 于 视频 邓 像 工具 ， 知 能 手机 是 一 个 很 好 的 选择 。 它 适用 于 任何 
软件 和 操作 系统 ， 且 对 被 测 软件 的 运行 没有 任何 影响 。 


2.3.8 ”客观 中 立地 书写 缺陷 报告 


缺陷 报告 是 对 缺陷 的 客观 陈述 ， 只 传递 事实 ， 不 评价 任何 人 的 工作 。 窗 观 
的 风格 使 得 测试 报告 更 加 可 信 ， 倾 问 性 明显 的 报告 则 让 读者 怀疑 测试 人 员 
的 专业 人 态度， 反而 不 利于 缺陷 的 修复 。 


。 测试 人 员 需 要 了 解 项 目 团队 对 缺陷 严重 程度 和 优先 级 的 定义 。 坚 持 按 
照 团队 约定 来 填写 这 些 字 段 ， 不 但 能 够 傈 证 缺陷 报告 的 一 致 性 ， 还 可 
以 避免 一 些 不 必要 的 争执 。 


。 有 时 ， 测 试 人 员 要 对 缺陷 的 用 户 影响 或 可 能 原因 做 一 些 评 论 ， 他 应 该 
E 
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。 缺陷 报告 只 报告 错误 ， 不 要 评价 软件 设计 ， 也 不 建议 解决 方案 。 测试 
人 员 可 以 当面 与 产品 经 理 、 程 序 员 等 讨论 软件 设计 ， 询 问 实 现 细 市 ， 
了 解 对 方 观点 ， 并 发 表 自 己 的 意见 。 


2.4 ”对 不 予 修复 的 缺陷 进行 上 诉 


有 时 ， 缺 陷 报 告 会 被 解决 为 “不 予 修复 ?或 “延迟 修复 ”。 如 果 测 试 人 员 不 同意 
这 样 的 决定 ， 他 需要 立即 进行 上 诉 。 在 许多 项 目 中 ， 上 诉 是 将 缺陷 报告 提 
交 给 缺陷 评审 小 组 ， 请 他 们 再 次 审 碍 缺陷 报告 ， 然 后 作出 最 终 的 决定 。 


在 上 诉 之 前 ， 测 试 人 员 需 要 做 一 些 准 备 工 作 。 


第 一 ， 他 可 以 再 做 一 些 测试 ， 以 研究 缺陷 的 普遍 性 和 严重 性 。 目 的 是 用 证 
据说 明 缺 陷 可 以 在 主流 场景 中 又 露 ， 或 瑞 隐 能 市 来 闫 重 的 危害 。 


第 二 ， 他 要 改进 缺陷 报告 ， 以 强调 缺陷 的 普遍 性 或 挛 重 性 。 除 了 加 入 后 续 
测试 的 结果 ， 他 还 可 以 请 教 专家 (资深 员工 、 领 域 专 家 、 用 户 代表 等 ) ， 
将 他 们 的 意见 写 入 缺陷 报告 。 此 外 ， 他 还 可 以 收集 一 些 资料 ， 来 证 明 缺 陷 
值得 修复 。 例 如 ， 某 个 打印 缺陷 只 在 特定 型 号 的 打印 机 上 出 现 。 他 可 以 利 
用 互联 网 搜索 市 场 报告 ， 以 了 解 该 型 号 的 打印 机 一 共 销 售 了 多 少 台 、 市场 
前 景 如 何 、 其 典型 用 户 具 有 什么 特征 。 如 果 发 现 这 是 一 款 畅 销 的 打印 机 、 
其 用 户 与 被 测 软 件 的 用 户 有 很 大 的 交集 ， 那 么 将 这 些 信息 写 入 缺陷 报告 会 
显 闭 提高 其 说 服 力 。 


第 三 ， 他 可 以 与 缺陷 评审 小 组 的 成 员 做 面对面 的 交流 。 当 面 陈述 问题 能 够 
更 快速 地 交换 意见 ， 更 好 地 说 明 问题 。 特 别 是 测试 人 员 可 以 当面 演示 缺陷 


的 重 现 情景 ， 从 而 更 生动 地 说 明 缺 陷 对 用 户 的 伤害 。 男 一 方面 ， 他 可 以 了 
解 缺陷 评审 小 组 的 意见 ， 知 晓 他 们 需要 什么 样 的 证 据 才 会 作出 修复 的 决 
定 。 此 外 ， 缺 陷 评 审 者 往往 是 团队 的 管理 者 或 业务 专家 ， 他 们 会 从 项 目 进 
度 、 价 值 取舍 、 商 业 影 响 等 多 个 方面 评审 缺陷 。 与 他 们 交流 ， 测 试 人 员 能 
够 更 好 地 理解 业务 和 项 目 ， 更 好 地 理解 其 决定 的 根本 原因 。 


缺陷 上 诉 的 本 质 是 说 服 别人 采纳 目 己 的 建议 。 在 收集 证 据 和 说 服 的 过 程 
中 ， 测 试 人 员 的 “人 脉 " 会 有 潜移默化 的 作用 。 这 里 的 人 脉 是 指 测 试 人 员 的 
信誉 和 团队 对 其 能 力 的 认可 程度 。 对 于 人 脉 好 的 测试 人 员 ， 团 队 成 员 会 认 
为 他 的 意见 是 值得 参考 的 ， 也 愿意 力所能及 地 帮助 他 。 


测试 人 员 建 立 人 脉 的 主要 方法 有 两 条 。 


。 通过 持续 提交 高 质量 的 缺陷 报告 来 建立 信誉 。 在 许多 项 目 团队 中 ， 缺 
陷 报 告 是 测试 人 员 的 主要 工作 成 果 ， 程 序 员 和 缺陷 评审 者 通过 它们 来 
评价 测试 人 员 的 专业 水 平 。 文 如 其 人 (You are what you write) 
[Kaner01]， 高 质量 的 缺陷 报告 让 测试 人 员 获 得 信任 ， 松 散 的 缺陷 报告 
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通过 帮助 团队 成 员 ， 让 他 人 认可 他 的 能 力 和 对 团队 的 贡献 。 除 了 报告 
缺陷 ， 测 试 人 员 还 通过 其 他 途径 来 服务 团队 ， 例 如 测试 程序 员 的 私有 
版 本 以 提供 快速 反 锯 、 深 入 调查 一 个 严重 的 缺陷 、 周 密 地 测试 一 个 即 
将 上 线 的 补丁 等 。 在 开发 过 程 中 ， 许 多 任务 之 间 并 没有 很 清晰 的 界 
限 ， 如 发 现 和 查 明 缺陷 [Weinberg08]。 测 斌 人员 不 要 厂 厂 计较 或 争论 特 
定 的 活动 是 否 属于 测试 ， 倘 和 若 有 利于 团队 ， 束 应 该 投入 时 间 去 做 。 这 
不 但 能 获得 他 人 的 肯定 ， 还 是 很 好 的 能 力 锻炼 。 


例如 ， 有 一 次 我 发 现 了 一 个 由 UI 线程 《用 户 界面 线程 ) 引发 的 死 锁 : UER 
程 将 一 个 任务 交 给 线程 池 的 一 个 工作 线程 ， 工 作 线 程 为 了 完成 任务 要 申请 
一 个 俩 对 象 ， 该 锁 对 象 被 UI 线 程 导 有， 而 UI 线 程 正 在 等 待 工作 线程 完成 任 
务 ， 于 是 这 两 个 线程 发 生死 锁 。 当 时 ， 此 失败 是 一 个 环 手 的 问题 : 一方 

面 ， 错 误 发 生 时 ，UI 线 程 仍 旧 能 够 处 理 用户 输 入 ， 所 以 看 上 去 它 没有 死 

M 另 一 方面 ， 这 是 一 个 间 队 性 的 失败 ， 在 开发 者 的 机 右上 不 能 重 现 ， 在 
我 的 测试 机 上 只 能 够 偶尔 重 现 。 为 了 避免 该 缺陷 被 解决 为 “不 予 修复 ”或 “不 
能 重 现 ”"， 我 化 了 一 个 多 小 时 调查 该 错误 ， 终 于 重 现 死 锁 ， 并 用 调试 右 找 到 
了 引起 死 锁 的 工作 线程 和 锁 对 象 。 我 提交 了 这 些 信息 后 ， 开 发 者 立即 表示 
我 的 报告 很 有 价值 ， 并 迅速 修复 了 这 个 提交 了 多 日 的 * 基 案 ”。 如 今 回想 ， 

我 本 可 以 更 快 地 发 现 错误 根 产 ， 但 是 我 对 代码 不 了 解 ， 调 查 时 走 了 一 些 要 
路 。 不 过 ， 通 过 这 次 调查 ， 我 较 完 整地 理解 了 这 部 分 代码 ， 今 后 我 能 够 更 
有 效 、 更 自信 地 测试 。 还 有 一 点 感悟 是 ， 我 和 程序 员 非 常 幸运 ， 因 为 我 的 


测试 机 能 够 “偶尔 ” 重 现 该 死 锁 。 如 果 该 缺陷 遗漏 到 用 户 环境 再 发 现 ， 我 们 
可 能 需要 用 几 倍 的 时 间 来 调查 和 修复 。 


2.5 ”周密 地 测试 缺陷 修复 


当 缺 陷 被 修复 后 ， 测 试 人 员 需 要 测试 软件 的 新 版 本 ， 以 检查 缺陷 是 否 得 到 
修复 、 修 复古 否 引 入 新 的 缺陷 。 该 活动 体现 出 软件 测试 的 大 代 本 质 ， 测试 
人 员 辟 十 循环 测试 软件 的 版 本 序列 ， 后 续 的 测试 任务 基于 先前 发 现 的 信息 
(如 缺陷 报告 ) ， 而 移 前 测试 获得 的 知识 会 改进 后 续 测 试 的 测试 策略 。 


测试 缺陷 修复 大 致 可 以 分 成 两 类 。 第 一 类 是 测试 普通 影响 力 的 缺陷 修复 ， 
例如 测试 项 目 中 发 现 的 普通 缺陷 ， 第 二 类 是 测试 高 影响 力 的 缺陷 修复 ， 例 
如 测试 腑 构 级 别 的 改动 、 测 试 发 布 前 夕 做 的 缺陷 修复 、 测 试 已 发 布 产品 的 
补丁 等 。 第 一 类 任务 只 要 求 做 小 范围 的 回归 测试 ， 工 作 量 较 小 。 第 二 类 任 
务 要 求 测 试 人 员 对 某 个 功能 和 情景 做 周密 的 测试 ， 工 作 量 大 ， 可 能 需要 一 
个 或 多 个 工作 日 才能 完成 。 


对 于 普通 影响 力 的 缺陷 修复 ， 测 试 人 员 需 要 尽快 完成 测试 ， 以 提供 及 时 的 
有 反馈。 程序 员 刚 提交 代码 时 ， 能 够 回忆 起 代码 细 方 ， 如 采 测 试 发 现 新 间 
题 ， 他 可 以 快速 地 修正 。 此外， 有 一 些 缺陷 修复 更 改 了 软件 的 设计 ， 这 可 
能 是 程序 员 、 测 试 人 员 和 程序 经 理 讨论 的 结果 。 如 宁 测 试 发 现 新 的 设计 仍 
日 存在 问题 ， 他 们 可 以 有 时 间 再 做 设计 。 如 果 测 斌 人员“ 积压 * 了 一 批 待 测 
试 的 缺陷 修复 ， 直 到 项 目 后 期 才 测 试 ， 那 么 在 测试 中 发 现 的 问题 很 可 能 没 
有 了 时间 去 修复 。 对 于 缺陷 而 言 ， 其 报告 时 机 总 是 越 早 越 好 。 


在 开始 测试 时 ， 测 试 人 员 可 以 将 缺陷 报告 的 重 现 步 又 作为 脚本 测试 用 例 ， 
通过 执行 该 用 例 来 做 基本 检查 。 如 果 软 件 通 过 基本 检查 ， 测 试 人 员 需 要 再 
做 测试 来 检查 修复 确实 有 效 。 以 下 是 一 些 可 能 的 测试 策略 。 


。 测试 人 员 可 以 查看 代码 的 变更 集 ， 了 解 当前 设计 ， 从 而 更 有 针对 性 地 
测试 。 有时， 测试 人 员 并 不 能 完全 读 懂 代码 细节 ， 但 是 了 解 大 致 的 设 
计 ， 就 能 为 测试 提供 有 益 的 指导 。 如 果 必 要 ， 测 试 人 员 可 以 请 教程 序 
员 ， 以 深入 了 解 设计 。 

“测试 人 员 可 以 考虑 产品 元 素 的 7 个 分 类 ， 在 结构 、 功 能 、 数 据 、 接 口 、 


平台 、 操 作 、 时 间 上 设计 新 的 测试 用 例 。 不 要 完全 复 用 旧 的 测试 用 
例 ， 应 该 设计 新 的 测试 用 例 来 拓展 测试 的 广度 和 深度 。 


。 测 斌 人员 可 以 对 被 修改 的 代码 做 “影响 分 析 ” (参见 7.1 节 ) 。 通 过 考虑 
被 修改 代码 的 输入 、 输 出 、 副 作用 ， 他 可 以 更 好 地 设计 测试 。 例 如 ， 


他 可 以 思考 ; 被 修改 的 代码 从 何 处 获得 数据 ? 上 游 代码 会 不 会 产生 它 
不 能 处 理 的 数据 ? 软件 会 不 会 用 反 篆 的 方式 调用 它 ? 被 修改 的 代码 会 
调用 什么 代码 ? 这 些 调用 会 不 会 产生 出 人 意料 的 结果 ? 被 修改 的 代码 
会 产生 什么 数据 ? 下游 代码 能 否 妥 当地 处 理 这 些 数 据 ? 被 修改 的 代码 
会 不 会 修改 全 局 状态 ? 被 修改 的 全 局 状态 会 不 会 产生 不 民 的 影响 ? 


与 “影响 分 析 ” 相 似 ， 测试 人 员 可 以 考虑 哪些 功能 与 被 修改 的 功能 集成 
ee Sel genera ane 
功能。 


测试 人 员 可 以 针对 缺陷 类 型 做 一 些 有 针对 性 的 测试 。 例 如 ， 为 了 提高 
程序 的 啊 应 速度 ， 程 序 员 将 一 些 计算 转 移 到 工作 线程 中 。 对 此 ， 测 试 
人 员 可 以 制造 一 些 情景 ， 使 工作 线程 的 计算 抛 出 异常 ， 以 测试 工作 线 
程 能 否 妥 当地 处 理 可 能 的 异常 。 有 时 程序 员 会 漏 掉 一 些 异 常 处 理 ， 而 
未 被 处 理 的 异常 很 可 能 导致 程序 月 让。 


对 于 高 影响 力 的 缺陷 修复 ， 测 试 人 员 应 该 细致 地 测试 新 设计 。 考 虑 到 测试 
时 间 较 长 ， 他 可 以 将 其 视 为 一 个 微型 测试 项 目 进行 管理 。 在 此 过 程 中 ， 他 
根据 产品 的 成 熟 度 确定 测试 策略 [Kaner01]， 并 动态 调整 测试 活动 。 


例如 ， 测试 人 员 接 到 一 个 为 期 一 周 的 测试 任务 ， 测 试 一 个 即将 发 布 的 产品 
补丁 。 他 可 以 考虑 按 如 下 方式 组 织 测试 。 


。 周 一， 他 安 雄 补丁 ， 并 执行 冒 烟 测 试 ， 目 的 是 在 第 一 时 间 发 现 挛 重 的 
缺陷 ， 如 补丁 无 法 安装 、 基 本 操作 执行 失败 、 基 本 情景 被 阻塞 等 。 然 
后 ， 他 会 搜集 补丁 相关 的 信息 ， 例 如 缺陷 描述 、 修 复 说 明 、 被 修复 功 
能 的 规格 说 明和 测试 文档 、 互 联网 上 相关 的 业务 或 技术 文档 等 。 他 一 
边 积 极地 学 习 信息 ， 一 边 “ 同 情 地 测试 ”。 测 试 的 目的 是 检验 信息 的 有 
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准备 。 


周一 下 午 ， 他 会 根据 研究 成 采 ， 编 写 一 份 1 一 2 页 的 测试 计划 ， 列 出 已 
经 执行 和 即将 执行 的 测试 想法 ， 并 发 送 给 补丁 程序 员 、 资 深 同事 、 测 
试 经 理 和 产品 经 理 等 ， 邀 请 他 们 对 测试 计划 提供 反 饿 。 下 班 时 ， 测 试 
人 员 会 对 未 来 的 测试 充满 信心 ， 因 为 他 已 经 验证 了 基本 的 功能 ， 并 根 
据 多 样 的 信息 源 和 真实 的 测试 经 验 制订 了 测试 计划 。 


周二 ， 测 试 人 员 会 “积极 地 测试 ”， 对 补丁 和 被 影响 的 相关 功能 执行 深 
入 的 测试 。 在 测试 的 间 际 ， 他 会 将 新 的 测试 想法 写 入 测试 计划 ， 使 测 
试 计划 反映 他 对 产品 的 最 新 理解 。 


。 周三， 测试 人 员 已 经 对 补丁 和 产品 有 了 深入 的 理解 ， 他 也 陆续 收 到 同 
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型 ， 从 而 “多 样 地 测试 ”。 他 可 以 执行 同事 补充 的 测试 想法 ， 检 查 目 动 
化 测试 的 结 采 ， 利 用 测试 工具 执行 压力 测试 ， 利 用 调试 器 检查 产品 代 


码 的 行为 一 一 他 会 运用 一 切 手段 去 获取 有 价值 的 信息 ， 直 人 至 新 的 信息 
不 再 出 现 。 


周 四 下 午 ， 测 试 人 员 会 将 测试 计划 转化 为 测试 报告 。 这 不 是 单纯 的 文 
档 工 作 ， 而 是 再 一 次 审视 测试 情况 ， 梳 理 测 试 思路 ， 以 得 漏 补缺 ， 为 
最 后 一 天 的 测试 做 好 准备 。 如 果 测 试 情况 显示 测试 人 员 需 要 更 多 的 时 
a a 
时 间 。 


周 五 ， 测 试 人 员 也 许 会 收 到 本 周 所 提交 缺陷 的 修复 ， 他 会 < 严谨 地 测试 
”。 在 发 布 前 夕 ， 对 任何 一 行 代码 或 配置 文件 的 修改 ， 痢 要 做 细致 的 、 
一 毕 不 本 的 测试 。 测 试 内 容 往往 是 针对 小 范围 代码 的 全 面 测试 ， 包 括 
简单 的 验证 ， 也 包括 复杂 的 攻击 。 测 试 人 员 不 会 因为 一 周 紧张 的 工作 
就 放松 懈 念 ， 他 会 理解 此 时 细小 的 错误 将 导致 巨大 的 损失 。 


最 后 ， 他 会 提交 测试 报告 ， 在 客观 摘 述 的 基础 上 ， 给 出 他 对 补丁 的 评 
价 和 建议 。 虽 然 测 试 时 间 结束 了 ， 但 是 测试 可 能 并 未 结束 。 如 有 果 测 试 
报告 显示 进一步 的 测试 能 够 发 现 有 价值 的 信息 、 能 够 揭示 洪 在 的 风 
险 ， 测 试 人 员 应 该 与 管理 人 员 交 流 ， 建 议 进 一 步 测试 。 管 理 层 会 根据 
市 场 、 进 度 、 技 术 等 信息 作出 决策 。 


2.6 ”坚持 阅读 缺陷 报告 


在 项 目 过 程 中 ， 测 试 人 员 应 该 持续 阅读 他 人 提交 的 缺陷 报告 ， 从 而 更 好 地 
理解 项 目 进展 ， 并 激发 测试 灵感 。 


许多 缺陷 管理 系统 文 持 “缺陷 查询 ”， 它 允许 测试 人 员 指 定 一 组 查询 条 件 ， 
如 缺陷 所 属 的 功能 、 缺 陷 提 交 的 日 期 、 缺陷 标题 包含 的 关键 词 等 ， 然 后 返 
回 符合 条 件 的 缺陷 报告 。 利 用 该 功能 ， 测 试 人 员 可 以 查询 目 己 人 负 员 的 功能 
和 相关 功能 的 缺陷 报告 ， 浏 览 缺 陷 报 告 列 表 ， 阅 读 他 感 兴趣 的 报告 (8.2.1 
届 还 介绍 了 一 些 定量 分 析 缺 陷 报告 的 方法 ) 。 每 天 或 每 周 阅读 缺陷 报告 可 
以 帮助 测试 人 员 更 好 地 测试 。 


。 了 解 当 前 有 哪些 活跃 的 缺陷 。 通 过 阅读 缺陷 报告 ， 测 试 人 员 可 以 了 解 
他 的 功能 或 他 依赖 的 功能 有 哪些 问题 。 这 样 ， 他 发 现 相 同 的 问题 时 不 


会 重复 提交 缺陷 报告 。 更 重要 的 是 ， 他 知晓 测试 对 象 的 局 限 ， 在 测试 
时 可 以 绕 开 一 些 阻碍 ， 从 而 提高 测试 效率 。 


学 习 测 试 技巧 ， 完 善 测试 设计 。 阅 读 缺 陷 报 告 ， 测试 人 员 可 以 了 解 测 
斌 伙伴、 内 部 用 户 、Beta 版 用 户 发 现 了 哪些 缺陷 。 如 果 他 们 发 现 的 缺陷 
位 于 测试 人 员 负 责 的 功能 ， 测 试 人 员 可 以 目 问 : 为 什么 他 发 现 了 这 个 
缺陷 ? 他 的 测试 设计 有 什么 特点 ? 为 什么 我 的 测试 没有 发 现 这 个 缺 
陷 ? 如 何 增强 我 的 测试 策略 ， 使 我 以 后 也 可 以 发 现 此 类 问题 ? 仔细 地 
T a aa a 
测试 质量 。 


获得 测试 灵感 。 软 件 的 功能 具有 相似 性 ， 在 某 个 功能 发 现 的 缺陷 ， 也 
许 会 在 其 他 功能 以 男 一 种 形式 存在 。 测 试 人 员 参 考 相关 功能 发 现 的 缺 
陷 ， 能 够 产生 新 的 测试 灵感 。 例 如 ， 测 试 人 员 人 负责 排版 软件 的 图 片 测 
试 。 他 知道 图 片 和 艺术 字 拥 有 一 组 相似 的 “特效 ”， 阴 影 、 倒 影 、 柔 化 
边缘 、3D 效 果 等 ， 它 们 共享 部 分 代码 。 于 是 ， 他 阅读 艺术 字 特 效 的 缺 
Ree ae eae 


追踪 软件 设计 。 需 求 分 析 和 功能 设计 都 不 可 能 完美 ， 测 试 人 员 会 在 实 
际 使 用 软件 的 过 程 中 发 现 设 计 的 缺陷 。 为 了 修正 该 缺陷 ， 产 品 经 理 或 
程序 员 会 修改 功能 设计 。 当 新 的 设计 缺陷 浮现 时 ， 他 们 可 能 再 次 修改 
设计 。 随 着 项 目 进 展 ， 最 初 的 规格 说 明 将 不 能 反映 当前 的 设计 ， 而 新 
设计 的 讨论 和 决策 都 保存 在 缺陷 报告 中 。 面 对 这 种 情况 ， 测 试 人 员 无 
需要 求 产 品 经 理 更 新 规 格 说 明 ， 因 为 将 信息 从 缺陷 报告 搬运 到 规格 说 
明 费 时 费力 ， 还 可 能 丢失 部 分 信息 和 可 奶 蹊 性 。 最 简单 的 方法 是 在 缺 
陷 标 题 中 增加 “[ 设 计 变 更 ]* 来 标记 此 类 缺陷 (有 些 缺 陷 管理 系统 文 

持 “ 关 键 字 ”字段 ， 也 可 以 将 “设计 变更 ”添加 到 该 字段 )。 今 后 ， 他 可 以 
用 关键 词 “ 设 计 变 更 ”查询 缺陷 管理 系统 ， 以 了 解 设计 变迁 的 历史 。 


总 结 缺 陷 模 式 。 经 过 一 段 时 间 的 积累 ， 测 试 人 员 可 以 综合 多 个 相似 或 
相关 的 缺陷 ， 提 炼 出 它们 的 模式 。 和 针对 这 些 模 式 ， 测 试 人 员 能 够 提出 
一 些 有 针对 性 的 测试 策略 ， 从 而 更 快 地 发 现 该 类 缺陷 。 此 外 ， 一 些 缺 
陷 模 式 上 暗示 开发 过 程 存 在 问题 。 例 如 ， 测 试 人 员 发 现 多 个 内 存 泄漏 的 
缺陷 报告 ， 这 可 能 暗示 程序 员 之 间 的 协作 存在 问题 : 当 一 个 程序 员 调 
用 其 他 同事 的 模块 时 ， 他 并 不 了 解 该 模块 对 于 动态 内 存 的 编程 约定 ， 
在 进度 压力 下 他 和 赁 经 验 完成 了 自己 的 代码 ， 所 以 没有 正确 地 释放 该 模 
块 返回 的 内 存 。 测 试 人 员 可 以 与 开发 经 理 当面 讨论 这 些 缺 陷 报 告 ， 帮 
助 编程 团队 获得 过 程 改进 的 信息 。 好 的 开发 经 理会 感谢 测试 人 员 的 总 
结 ， 并 采取 相应 的 改进 措施 。 


持续 地 回顾 缺陷 报告 能 让 测试 人 员 更 好 地 理解 产品 、 技 术 和 团队 。 测 试 人 
员 可 以 将 一 些 研究 成 果 用 邮件 、 小 组 讨论 等 方式 分 享 给 测试 小 组 。 在 潜 移 
稚 化 的 影响 下 ， 阅 读 缺 陷 报告 将 成 为 一 项 团队 的 学 习 活 动 。 


2.7 


人 小结 


本 章 以 缺陷 报告 为 中 心 介绍 了 一 批 测试 实践 ， 它 们 与 测试 人 员 的 日 常 工作 


紧密 相关 。 


是 交 缺 陷 报告 的 目的 是 让 正确 的 缺陷 得 到 修复 。 达 成 这 一 目标 需要 让 
a E 


为 了 说 服 缺 陷 评审 者 ， 测 试 人 员 要 通过 测试 去 调查 缺陷 的 普遍 性 OX 
险 暴 露 的 可 能 ) 和 严重 性 (风险 暴露 的 危害 ) 。 缺陷 报告 要 提供 足够 
的 证 据 以 说 明 该 缺陷 值得 处 理 。 

为 了 帮助 缺陷 修复 者 ， 测 试 人 员 要 通过 测试 去 获得 更 多 的 技术 信息 。 
人 


测试 调查 可 能 需要 大 量 的 时 间 ， 测 试 人 员 可 以 用 时 间 盒 来 控制 时 间 。 
人 
MEA ° 

缺陷 上 诉 的 本 质 是 说 服 别人 采纳 目 己 的 建议 ， 其 核心 工作 是 发 气 和 收 
集 有 说 服 力 的 证 据 ， 并 通过 交流 将 证 据 传 递 给 缺陷 评审 者 。 


测试 人 员 的 “人 脉 来 目 高 质量 的 缺陷 报告 、 高 水 准 的 信息 服务 和 乐于 
助人 的 工作 态度 。 测 斌 人员 要 有 意识 地 拓展 “人 脉 "， 计 它 为 测试 工作 


服务 


测试 缺陷 修复 不 要 重复 已 有 的 测试 ， 应 该 引入 新 的 测试 ， 在 广度 和 深 
度 上 拓展 测试 设计 。 


人 
测试 。 


第 3 章 测试 文档 


从 测试 工作 的 角度 ， 测 试 文档 大 致 可 以 分 成 两 类 : 产品 和 工具 [Kaner01]。 


产品 是 供 他 人 阅读 和 使 用 的 文档 。 一 些 软件 项 目的 合同 要 求 项 目 团队 在 交 
付 软件 的 同时 交付 一 批 规 定 的 文档 ， 其 中 的 一 些 文档 需要 测试 人 员 撰 写 。 
此 外 ， 菜 些 软 件 过 程 认证 对 项 目 文档 有 明确 的 要 求 。 为 了 通过 认证 ， 测 试 
人 员 也 要 撰写 规定 格式 的 文档 。 


工具 是 测试 小 组 的 内 部 文档 或 测试 人 员 的 个 人 文档 ， 其 目的 是 帮助 测试 人 
员 更 好 地 测试 。 典 型 的 例子 是 测试 团队 的 内 部 Wiki 和 测试 人 员 的 笔记 ， 它 
们 内 容 宽 沁 、 格 式 灵活 、 形 式 多 样 ， 专 注 于 实际 的 测试 工作 ， 而 不 强求 文 
档 的 完备 与 整齐 。 


对 于 大 部 分 软件 项 目 ， 项 目 团 队 的 目标 是 交付 有 苋 争 力 的 产品 ， 测 试 小 组 
的 任务 是 通过 技术 调查 提供 产品 的 质量 信息 。 因 此 ， 测 斌 人员 不 需要 编写 
严格 意义 上 的 “产品 *， 即 交付 给 客户 和 认证 评估 小 组 的 文档 。 他 们 编写 的 
文档 都 是 团队 或 个 人 实施 测试 的 工具 ， 其 根本 价值 在 于 帮助 测试 人 员 更 有 
效 地 测试 。 侦 离 此 价值 的 文档 过 程 将 良 费 测 弃 资 产 ， 且 阻碍 测 翅 人 员 有 效 
地 工作 。 本 章 将 围绕 作为 “工具 ”的 测试 文档 ， 介 绍 一 些 编写 和 维护 测试 文 
档 的 原则 与 方法 。 


3.1 测试 文档 是 持续 演化 的 工具 


作为 工具 的 测试 文档 需要 随 项 目 进 展 而 持续 演化 。 本 节 概 述 测试 文档 的 表 
现形 式 ， 并 讨论 编写 和 维护 文档 的 基本 方法 。 


3.1.1 测试 文档 是 提供 测试 信息 的 一 组 文档 


有 些 测试 文档 不 但 是 测试 小 组 的 工具 ， 也 是 项 目 团 队 的 开发 辅助 工具 。 通 
过 它们 ， 测 斌 小 组 将 信息 传递 给 项 目 团队 和 关系 人 ， 让 他 们 可 以 更 好 地 作 
决定 。 在 编写 文档 时 ， 测 试 人 员 不 但 要 考虑 到 文档 的 实用 性 ， 还 要 考虑 读 
者 ， 为 他 们 提供 有 价值 的 信息 。 第 见 的 项 目 范 围 的 文档 包括 以 下 几 个 骨 
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。 测 试 计 划 : 记录 了 指导 测试 过 程 的 一 组 想法 [Kaner01]， 概 括 地 论述 了 
产品 特性 、 产 品 风 险 、 测 试 任务 、 测 试 资源 、 测 试 进度 、 测 试 团队 、 
团队 协作 等 内 容 。 在 大 型 项 目 中 ， 测 试 计划 通常 由 测试 经 理 撰写 ;在 
小 型 项 目 中 ,测试 人 员 可 以 撰写 一 份 文档 ， 包 含 测 试 计划 和 测试 设计 


的 内 容 。 测 试 小 组 、 开 发 小 组 和 产品 经 理会 一 起 评审 测试 计划 。 通 过 
评审 ， 他 们 可 以 就 测试 小 组 的 职责 、 开 发 小 组 的 职责 、 测 试 与 开发 小 
组 如 何 协作 等 关键 问题 达成 一 致意 见 。 从 这 个 角度 ， 测 试 计划 的 撰写 
和 评审 是 一 项 协作 活动 ， 测 试 计划 是 协作 的 成 果 。 


测试 设计 规约 : 记录 了 测试 策略 (一 组 指导 测试 设计 的 想法 
[Kaner01]) 和 详细 测试 设计 。 测 斌 人员、 程序 员 和 产品 经 理会 评审 测 
试 设计 规约 ， 查 漏 补 缺 ， 提 出 改进 意见 。 在 评审 过 程 中 ， 测 试 人 员 可 
以 获得 更 多 的 测试 想法 ， 更 好 地 理解 软件 ， 程 序 员 可 以 获得 测试 信 
ee 产品 经 理 能 够 了 解 测试 覆盖 ， 评 估 项 目 
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测试 总 结 报告 ， 汇 报 执行 了 哪些 测试 、 覆 盖 了 哪些 功能 、 获 得 了 哪些 
言 息 、 以 及 未 来 的 测试 行动 等 内 容 。 通 过 阅读 测试 总 结 报告 ， 测 试 经 
理 、 开 发 经 理 、 产 品 经 理 等 能 够 了 解 测试 进度 、 产 品 问题 、 项 目 风险 
等 信息 。 这 为 下 一 步 的 项 目 规划 提供 了 基础 。 


缺陷 报告 : 也 称 测试 事故 报告 ! ， 记 录 了 测试 中 发 现 的 软件 失败 。 通 过 
缺陷 报告 ,测试 人 员 传 递 了 产品 的 质量 信息 ， 并 帮助 开发 小 组 修复 软 
件 缺陷 。 第 2 章 已 经 专题 讨论 缺陷 报告 ， 故 本 章 将 不 再 讨论 该 类 文档 。 


1 术语 test incident report 来 自 于 IEEE 829 国 际 标准 (http:/en.wikipedia.org/wikiIEEE 829 ) ° 


除了 项 目 范 围 的 文档 ， 测 试 人 员 会 编写 一 些 测 试 小 组 或 个 人 使 用 的 测试 文 
档 ， 以 帮助 测试 小 组 或 目 己 完成 测试 任务 。 此 类 文档 通常 包括 以 下 几 种 类 


型 。 


。 操作 文档 : 用 详细 步骤 、 屏 幕 截图 、 操 作 视频 等 形式 记录 完成 某 项 任 
务 的 过 程 。 测 试 涉及 安 儿 软件、 配置 测试 环境 、 操 作 产 品 等 任务 。 有 
时 ， 这 些 任务 可 能 很 复 洒 ， 或 需要 特定 的 知识 。 操 作文 档 使 测试 小 组 
的 所 有 成 员 都 可 以 按 独 索 猜 ， 顺 利 完成 任务 。 


测试 笔记 : 记录 测试 过 程 ， 包 括 测 试 设计 、 软 件 缺 陷 、 测 斌 发现、 新 
测试 想法 等 内 容 。 在 我 的 工作 中 ， 测 试 笔记 古 最 重要 的 测试 文档 。 我 
使 用 它 记录 测试 想法 ， 回 顾 测试 过 程 ， 激 发 测试 灵感 。 


测试 资料 : 是 测试 人 员 收 集 整 理 的 测试 支持 材料 。 例 如 ， 测 试 人 员 需 
要 测试 一 款 Windows 8 应 用 ， 于 是 他 从 微软 网 站 获得 了 一 份 测试 指南 

[Sundaram12]。 他 学 习 该 测试 资料 ， 掌 握 测 试 Windows 8 应 用 的 基本 策 
略 ， 并 根据 当前 应 用 的 特点 ， 精 人 简 出 一 份 有 针对 性 的 测试 文档 。 为 了 


适应 快速 发 展 的 软件 行业 ， 测 试 人 员 需 要 持续 收集 资料 ， 通 过 积极 阅 
读 ， 将 它们 整理 为 面向 实际 工作 的 文档 。 


移交 文档 : 概述 测试 对 象 的 特征 ， 记 录 了 前 任 测试 人 员 的 经 验 与 建 
议 。 通 过 阅读 该 文档 ， 继 任 的 测试 人 员 能 够 了 解 测 试 对 象 ， 获 得 相关 
测试 资料 ， 从 而 快速 上 手 。 


测试 知识 库 : 记录 测试 小 组 的 知识 。 它 可 以 是 wiki 网站， 也 可 以 是 共 
享 的 笔记 文件 。 


可 见 , “测试 文档 ?并 不 是 一 份 文档 ， 而 是 一 组 文档 。 因为 软件 开发 是 一 项 
复 灯 的 创新 过 程 ， 涉 及 形形色色 的 活动 与 天 系 人 ， 所 以 单一 的 文档 满足 不 
了 多 样 化 的 需求 。 测 试 小 组 要 根据 项 目 实际 情况 ， 决 定 要 编写 哪些 文档 ， 
以 及 这 些 文档 要 满足 何 种 要 求 。 


3.1.2 ”在 测试 中 演化 测试 文档 


测试 是 迭代 过 程 ， 作 为 工具 的 测试 文档 也 需要 “与 时 俱 进 ”。 以 测试 设计 文 
档 为 例 ， 其 价值 在 于 准确 地 撒 述 软件 的 特性 、 当 前 的 风险 、 针 对 特性 和 风 
念 的 测试 策略 等 。 如 采 测 试 设 计 文 档 不 反映 软件 的 当前 情况 ， 不 针对 项 目 
过 程 中 浮现 的 风险 ， 个 体现 测试 人 员 通 过 测试 获得 的 知识， 那么 按照 此 文 
档 执 行 测试 将 损害 测试 的 效果 。 或 者 ， 测 试 人 员 意 识 到 文档 已 经 过 时 ， 便 
将 其 束之高阁 ， 任 自己 的 经 验 进 行 测试 。 这 使 得 投入 在 文档 上 的 努力 付 诸 
东 流 ， 也 导致 测试 人 员 可 能 错过 一 些 已 知 的 重要 测试 。 


为 了 主 测试 文档 持续 演进 ， 最 目 然 的 方法 是 利用 测试 的 迭代 本 质 ， 在 每 一 
个 迭代 中 *“ 按 需 更 新 ”测试 文档 。 如 图 3-1 所 示 ， 测 试 人 员 将 测试 设计 、 测 试 
执行 、 测 斌 评估、 测试 学 习作 为 相互 支持 的 活动 ， 在 项 目 过程 中 欠 代 地 执 
行 。 在 每 一 项 活动 中 ， 他 都 可 以 更 新 测试 文档 ， 让 文档 更 新 成 为 测试 的 一 
部 分 。 如 果 能 做 到 “ 随 风 洪 入 夜 ， 润 物 细 无 声 ” 一 一 将 文档 维护 融入 测试 过 
程 ， 那 么 测试 文档 就 能 成 为 " 话 的 ”文档 ， 其 维护 阻力 也 能 显著 降低 。 


图 3-1 在 测试 迭代 中 演化 测试 文档 


最 凋 见 的 测试 天 代 古 测试 新 的 构建 。 在 此 过 程 中 ， 测 试 人 员 将 测试 文档 作 
为 行动 的 参考 ， 将 测试 作为 文档 更 新 的 驱动 力 。 


测试 设计 :在 获得 新 构建 后 ， 测 试 人 员 回 顾 现 有 的 文档 ， 通 过 一 些 启 
发 式 问题 来 思考 测试 任务 。 这 份 测试 设计 完整 吗 ?” 上 次 测试 发 现 了 什 
么 问题 或 风险 ? 针对 这 些 问题 和 风险 ， 需 要 调整 测试 设计 吗 ? 根据 上 
次 的 测试 结果 ， 哪 些 功 能 只 和 需 简 单 测试 ， 哪 些 功 能 需要 重点 测试 ， 哪 
些 测试 不 必 运 行 ， 哪 些 测 试 需要 深化 ? 通过 思考 这 些 问题 ， 他 可 以 优 
化 测试 设计 ， 并 更 新 测试 文档 。 


测试 执行 : 在 运行 测试 时 ， 测 试 人 员 会 发 现 一 些 新 信息 ， 他 会 将 重要 
的 信息 记录 下 来 。 例 如 ， 他 学 习 到 一 些 产 品 的 知识 ， 对 于 测试 设计 很 
有 帮助 ， 他 束 会 写 入 测试 笔记 。 青 例如， 他 在 测试 执行 中 产生 了 新 的 
测试 想法 ， 他 束 会 补充 到 测试 设计 文档 中 。 还 例如 ， 他 发 现 特 定 的 功 
能 存在 显著 的 风险 ， 束 会 记录 该 风险 ， 以 便 示 来 更 深入 地 探索 。 


测试 评估 : 测试 人 员 不 但 会 评 佑 软件 的 行为 ， 还 会 评估 测试 的 效果 。 
在 测试 过 程 中 ， 测 试 人 员 会 多 次 查看 测试 笔记 ， 以 检查 测试 履 凋 情 
况 ， 并 发 握 更 多 的 测试 想法 。 由 于 软件 的 复杂 性 ， 许 多 信息 仅 在 测试 
执行 时 才 会 又 露出 来 。 测 试 人 员 应 该 利用 这 些 信 息 ， 去 完善 测试 设 
计 ， 整 理 出 未 来 的 测试 重点 ， 并 记录 在 案 。 


。 测试 学 习 : 测试 人 员 会 根据 测试 反馈 ， 去 学 习 更 多 的 知识 ， 并 整理 成 
面 同 测试 的 文档 。 测 斌 设计、 执行 和 评 信 可 以 看 作 学 习 软 件 和 技术 的 
过 程 ， 测 试 人 员 会 通过 测试 笔记 和 测试 设计 文档 来 记录 所 学 到 的 知 
识 。 除 此 之 外 ， 测 试 人 员 还 可 能 花 时 间 学 习 一 些 专项 知识 。 例 如 ， 因 
为 被 测 系统 包含 数据 库 ， 测 试 人 员 会 特意 学 习 一 些 数据 库 的 知识 。 学 
习 要 有 明确 的 产 出 ， 人 否则 很 容易 流 于 形式 。 为 此 ， 测 试 人 员 会 根据 所 
学 内 容 编 写 一 些 测试 资料 ， 例 如 一 份 数据 库 津 见 软 件 错误 列表 或 一 份 
数据 库 测 试 的 想法 列表 。 


可 见 ， 测 试 文档 与 测试 送 代 十 相互 促进 的 。 测 试 文档 为 测试 学 习 、 设 计 、 
执行 、 评 佑 提供 信 息 ， 帮 助 测 试 人 员 有 效 地 测试 ， 在 测试 天 代 中 ， 测 试 人 人 
员 葡 得 更 多 的 知识 ， 从 而 增强 测 斌 文档。 这样 的 民 性 循环 会 稳步 提高 测试 


质量 


3.1.3 注重 实效 的 测试 文档 


在 阅读 上 节 时 ， 读 者 可 能 会 产生 疑惑 : 在 测试 过 程 中 时 刻 维护 测试 文档 会 
不 会 占用 大 量 的 测试 时 间 ， 进 而 影响 到 测试 效率 ? 我 的 建议 是 : 测试 文档 
应 该 内 容 精 炼 、 格 式 灵活 、 相 互 参考 ， 从 而 尽 可 能 降低 维护 的 代价 。 


虽然 测试 文档 具有 多 种 形式 ， 其 核心 仍旧 是 测试 。 对 于 测试 人 员 而 言 ， 其 
内 容 不 外 乎 :需要 测试 的 功能 和 属性 〈 测 试 对 象 和 测试 覆盖 ) 、 如 何 实施 
测试 〈 测 试 设计 与 测试 执行 ) 、 如 何 判断 软件 是 否 出 错 (测试 先知 、 测 
试 过 程 中 发 现 了 哪些 信息 〈 测 试 发 现 ) 、 测 试 进度 和 测试 资源 。 其 中 ， 测 
试 履 盖 与 测试 设计 (这 两 个 概念 在 实际 测试 中 紧密 相关 ) 是 核心 元 素 。 在 
测试 实战 中 ， 测 试 人 员 可 以 用 测试 履 盖 大 纲 或 测试 想法 列表 为 核心 文档 ， 
用 它 来 红 动 测试 设计 和 执行 ， 并 记录 测试 所 发 现 的 信息 。 


一 种 很 简单 的 测试 覆盖 大 纲 是 功能 列表 [Kaner11]。 如 图 3-2 所 示 ， 
PowerPoint 人 允许 用 户 在 约 灯 片 中 插入 图 片 并 编辑 。 对 于 PowerPoint 的 图 片 功 
能 ， 测 试 人 员 可 以 建立 如 图 3-3 所 示 的 PowerPoint 图 片 功能 符号 列表 对 图 片 
功能 建 模 。 限 于 篇 幅 ， 该 功能 列表 只 列 出 了 PowerPoint 图 片 的 部 分 功能 OR 
入 的 测试 需要 更 详细 的 功能 列表 ) ， 但 是 它 很 好 地 体现 了 功能 列表 的 特 
点 。 这 些 特点 也 是 注重 实效 的 测试 文档 所 需要 考虑 的 要 素 。 
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图 3-2 ”PowerPoint 的 图 片 功能 


。 插入 图 片 ( 输入) 
o 图 片 格式 
o HART 
。 操作 ( “图 片 工 具 ” 下 的 命令 ) 
o 调整 
lo 图 片 样式 
o 排列 
o 大 小 
。 应 用 (将 图 片 与 其 他 元 素 组 合 使 用 ) 
o 文本 
o 形状 
o SmartArt 
o 图 表 
。 另存 为 图 片 (输出 ) 
o 被 输出 对 条 
= 文本 
= 形状 
= SmartArt 
= BR 
o 输出 图 片 格式 
。 打印 含 图 片 的 文档 
o 物理 打印 机 
虚拟 打印 机 
= PDF 
= XPS 
. 读 写 含 图 片 的 文档 
o 保存 
o TERY 
? o 向 后 兼容 


图 3-3 图 片 的 功能 列表 


第 一 ， 它 建立 了 被 测 对 象 的 整体 模型 。 功 能 列表 的 顶层 条 目 将 图 片 功能 划 
分 为 6 个 功能 区 域 : 输入 、 操 作 、 应 用 、 和 输出、 打印 和 文件 读 写 ， 这 可 以 帮 
助 测试 人 员 全 面 地 思考 被 测 对 象 。 测 试 人 员 可 以 分 别 测试 每 个 功能 区 域 ， 

也 可 以 构思 测试 情景 去 测试 多 个 功能 区 域 的 交互 。 更 重要 的 是 ， 功 能 列表 
并 不 古 一 成 不 变 的 ， 随 着 测试 的 进展 ， 测 试 人 员 可 以 根据 新 的 认识 调整 功 
能 列表 的 顶层 条 目 〈 功 能 区 域 ) 。 这 样 的 调整 体现 了 测试 反馈 对 测试 模型 
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第 二 ， 它 提供 了 可 扩展 的 测试 设计 框架 。 功能 列表 的 层次 结构 让 测试 人 员 
可 以 持续 地 补充 细节 。 在 某 个 条 目下 ， 他 可 以 增加 更 详细 的 功能 或 针对 该 
条 目的 测试 想法 。 在 初始 测试 设计 获得 基本 的 层次 结构 后 ， 对 功能 列表 的 
补充 都 是 在 测试 闪 代 中 *“ 按 需 ” 发 生 的 。 当 功能 列表 增长 到 一 定 程度 后 ， 测 
试 人 员 可 能 发 现 原 有 结构 并 不 理想 ， 他 会 对 其 进行 调整 ， 例 如 增加 新 的 顶 
层 条 目 、 将 一 些 子 条 目 移 动 到 新 的 顶层 条 目 等 。 调 整 结构 说 明 测试 人 员 的 
知识 突破 了 原先 的 水 平 ， 新 的 模型 更 符合 产品 的 本 质 。 许 多 测试 人 员 喜 欢 
用 思维 导 图 来 记录 功能 列表 〈 见 图 3-4) , EAR, BETH, M 
而 更 容易 增加 想法 和 调整 结构 。 


图 片 格式 
插入 图 片 (输入 ) /一 一 一- 
[ ~~A EKR 
调整 
/ a 
操作 (“图 片 工具 ”下 的 命令 ) a 
| | 排列 _ 
| EA 
/ 文本 
应 用 (将 图 片 与 其 他 元 素 组 合 使 用 ) 。 一， 
3 \ SmartArt _ 
\ \_ Be 
\ 被 输出 对 象 
| 另存 为 图 片 输出) /一 一 一 0. 
\\ 输出 图 片 格式 
\ 
a oe 
\ ee 《去 虚 拟 打 印 机 


\ 保存 
| 保存 _ 
\ 读 写 含 图 片 的 文档 |m 


图 3-4 功能 列表 的 思维 导 图 形式 


第 三 ， 它 提供 了 测试 覆盖 的 目标 。 功能 列表 的 主干 是 产品 的 功能 ， 这 提供 
了 功能 窗 盖 的 目标 。 它 也 很 容易 纳入 其 他 测试 覆 蓄 类 型 ， 例 如 “打印 含 图 片 
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第 四 ， 它 用 简洁 的 形式 提供 丰富 的 信息 。 在 图 3-3 中 ，“ 图 片 格 

式 ” 和 “PDF” 都 包含 指 同 其 他 文档 的 链接 。 在 测试 这 两 个 功能 时 ， 测 试 人 员 
可 以 参考 所 链接 的 文档 ， 获 得 更 详细 的 信息 。 测 试 需要 一 组 文档 的 支持 ， 
核心 文档 只 记录 必要 内 容 ， 更 详细 的 信息 可 以 链接 到 其 他 文档 。 这 样 做 可 
ee eae 


文档 相互 链接 是 一 项 好 的 实践 。 这 让 多 份 文档 相互 支持 、 紧 密 联 系 ， 使 之 
成 为 互 为 补充 的 文档 集 。 测 试 人 员 对 软件 的 认 知 总 是 逐步 增强 的 ， 补 充 新 
的 文档 ， 主 它 与 已 有 文档 相互 联系 ， 是 一 个 渐进 的 学 习 过 程 ， 其 结 采 是 一 
个 逐渐 完善 的 领域 模型 。 


第 五 ， 它 格式 灵活 ， 人 允许 用 多 种 方式 记录 信息 。 功 能 列表 的 条 目 通常 是 词 
语 或 语句 片段 ， 配 合 助 记 符 (如 图 3-3 中 的 问号 ， 能 让 测试 人 员 快 速记 录 
测试 想法 和 测试 发 现 。 在 测试 送 代 中 ， 此 类 灵活 且 非 正式 的 表达 通常 更 高 
效 。 例 如 ， 测 斌 人 员 可 以 定义 自己 的 助 记 符 ， 用 自己 最 习惯 的 方式 记录 信 
思 。 这 体现 了 测试 文档 的 “工具 ”属性 一 一 它 应 该 帮助 测试 人 员 ， 而 不 是 限 
制 甚至 阻碍 他 的 发 挥 。 如 果 测 试 人 员 需 要 提交 正式 的 测试 报告 ， 他 可 以 根 
据 词 语 和 助 记 符 ， 补 充 记录 测试 范围 、 测 试 设计 、 测 试 结 采 和 总 体 评估 。 


功能 列表 并 不 是 组 织 测试 想法 的 唯一 方法 。 不 同 的 测试 任务 有 不 同 的 需 
求 ， 需 要 不 同形 式 的 核心 文档 ， 以 下 是 一 些 例子 。 


。 功能 测试 可 以 以 功能 列表 为 骨干 、 以 测试 想法 为 叶 太 上 后， 其 表现 形式 
是 符号 列表 或 思维 导 图 。 


测试 一 个 产品 补丁 时 ， 测 试 人 员 可 以 从 测试 想法 的 思维 导 图 中 抽取 大 
于 分 文 ， 构 成 新 的 思维 导 图 。 测 试 补 丁 不 需要 完整 的 思维 导 图 ， 不 过 
党 第 要 将 几 个 分 文 合 在 一 起 考虑 ， 以 周密 地 测试 产品 的 一 个 部 分 。 


浏览 器 兼容 性 测试 可 以 以 “功能 一 浏览 旨 *" 答 阵 为 核心 ， 其 表现 形式 通 
常 是 表格 (详细 案例 参见 3.2.5 节 ) 。 


在 安全 测试 时 ， 测 试 人 员 可 以 从 一 份 安全 测试 的 缺陷 目录 开始 测试 
(缺陷 目录 的 讨论 参见 3.2.12 节 ) 。 该 缺陷 目录 记录 了 典型 缺陷 、 失 败 
症状 、 攻 击 手段 、 可 用 工具 等 信息 。 根 据 这 些 信息 ,测试 人 员 可 以 构 
造 测试 用 例 ， 去 挖掘 隐藏 的 缺陷 。 


可 见 ， 


测试 任务 的 多 样 性 导致 测试 文档 的 多 样 性 。 在 一 个 复杂 的 项 目 中 ， 


测试 人 员 很 可 能 需要 执行 多 项 测试 任务 。 面 对 此 类 情况 ， 维 护 若干 份 目标 
明确 的 简洁 文档 ， 其 效率 要 优 于 维护 一 份 无 所 不 包 的 长 篇 文档 。 测 试 人 员 
可 以 参考 如 下 的 文档 维护 策略 。 


。 在 项 目 早期 ， 编 写 测试 设计 规约 ， 概 述 测试 策略 。 邀 请 产品 经 理 、 程 


序 员 、 测 试 经 理 等 进行 评审 ， 并 根据 反馈 意见 做 出 修改 。 


。 在 测试 设计 规约 的 指导 下 ， 为 测试 活动 收集 、 复 用 、 编 写 、 改 进 测试 


作为 
缺陷 
B, 


文档 。 在 特定 的 测试 活动 中 ， 测 试 人 员 可 以 复 用 与 修订 测试 设计 规 
约 ， 可 以 编写 一 页 篇 幅 的 简洁 文档 ， 也 可 以 即兴 测试 。 总 之 ， 从 实战 
出 发 ， 只 做 必要 的 文案 工作 。 


将 文档 集中 管理 ， 并 周期 性 地 备份 。 可 能 的 做 法 包括 : 将 文档 提交 到 

源 代码 管理 系统 、 人 k 享 目录 、 将 文档 保存 在 内 部 网 站 、 

o 享 的 测试 知识 库 等 。 测 试 文档 是 重要 的 测试 资产 ， 值 得 
管 


请 同事 评阅 文档 。 在 生成 一 幅 思 维 导 图 或 一 个 配置 矩阵 后 ， 测 试 人 员 
可 以 用 邮件 评审 或 梨 面 走 碍 的 方式 ， 邀 请 相关 同事 评阅 测试 设计 。 与 
评审 十 几 页 的 文档 相 比 ， 检 查 一 页 骗 幅 的 文档 开销 很 低 ， 却 能 够 快速 
提供 有 价值 的 意见 。 如 果 测 试 人 员 和 同事 面对面 地 讨论 ， 通 过 头脑 风 
紧 在 短 时 间 内 可 以 激发 出 更 多 的 测试 想法 。 


在 项 目的 重要 里 程 碑 完成 时 ， 整 理 已 有 文档 。 可 能 的 做 法 包括 : 将 一 
些 有 价值 的 内 容 移 入 测试 设计 规约 、 链 接 相 关 文 档 、 补 充 测 试 知 识 
库 、 编 写 测试 移交 文档 等 。 


工具 的 测试 文档 ， 其 价值 取决 于 它 能 够 帮助 测试 人 员 组 织 测 试 并 找到 
的 程度 [Kaner99]。 所 谓 * 注 重 实效 的 文档 ?就 是 ， 
舍弃 不 必要 的 修饰 。 一 份 直抵 核心 的 文档 更 容易 编写 、 阅 读 、 修 改 和 
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KENA 


成 更 


形形色色 的 测试 文档 


一 些 第 见 的 测试 文档 。 它 们 可 以 单独 成 文 ， 也 可 以 组 合 在 一 起 构 
周详 的 文档 。 虽然 形式 不 同 ， 但 是 功能 主要 有 以 下 3 个 [Kaner99] 。 


为 完成 技术 任务 提供 便利 ， 测 试 文档 提供 技术 信息 ， 以 支持 更 好 地 测 
试 设 计 和 执行 。 


。 改善 测试 任务 和 测试 过 程 之 间 的 联系 : 测试 文档 解释 测试 策略 背后 的 
思想 、 测 试 的 覆盖 范围 、 测 试 工作 的 规模 、 测 试 的 深度 和 广度 、 测 试 
分 工 等 ， 从 而 帮助 测试 小 组 与 整个 项 目 团队 交流 和 协作 。 


为 组 织 、 规 划 和 管理 测试 项 目 提供 结构 : 测试 文档 提供 管理 结构 ， 让 
测试 经 理 更 好 地 管理 测试 项 目 ， 让 测试 小 组 更 好 地 为 项 目 服务 。 


3.2.1 测试 计划 


测试 计划 是 一 组 指导 测试 过 程 的 想法 [Kaner01]。 制订 良 好 的 测试 计划 需要 

深入 评估 项 目 情况 ， 充 分 利用 测试 资源 ， 合 理 安排 测试 任务 。 在 此 过 程 

中 ， 测 斌 人员 可 以 参考 James Bach 提 出 的 启发 式 测试 计划 的 语 境 模型 
(Heuristic Test Planning Context Model, HTPCM) [Bach00a][Kaner01] ° 


图 3-5 展 示 了 HTPCM 的 基本 元 素 ， 其 中 测试 过 程 是 核心 ， 测 试 任务 决定 了 测 


斌 过程 的 目标 。 计 划 制 订 者 要 根据 语 境 (开发 、 测 试 团队 、 测 试 实验 室 、 
需求 ) 来 决定 测试 过 程 和 测试 任务 。 


任务 


寻找 重要 的 缺陷 对 质量 保证 提出 建议 
评估 质量 和 风险 ”对 测试 提出 建议 
标准 认证 对 质量 提出 建议 
满足 过 程 要 求 ”最 大 化 效率 
服务 关系 人 最 小 化 开销 
承担 责任 最 小 化 时 间 


开发 


ates a 
yan 


项 目 环境 " yz | 
项 目 管理 方法 测试 过 程 Bega 
配置 管理 制度 测试 策略 参考 资料 
缺陷 预防 手段 保障 条 件 sila 


开发 小 组 


工作 产品 


测试 团队 测试 实验 室 


专家 经 验 测试 平台 
工作 负载 测试 工具 
团队 凝聚 力 测试 程序 库 
pe 缺陷 管理 系统 
1 oe 及 We 
ae PA 办 公平 台 


图 3-5 启发 式 测试 计划 模型 


。 需求 : 是 产品 获得 成 功 的 条 件 ， 包 括 产 品 愿 景 、 关 系 人 的 期 望 、 质 量 
标准 、 参 考 资料 等 。 计 划 测 试 的 过 程 也 是 一 个 学 习 需 求 的 过 程 ， 只 有 
理解 需求 才能 正确 地 设 定 测试 目标 。 


。 开 发 : 是 产品 开发 的 环境 ， 包 括 被 测 产品 、 项 目 周 期 、 项 目 管理 方 
法 、 配 置 管理 制度 、 缺 陷 预 防 手段 、 开 发 小 组 等 。 开 发 环境 对 测试 小 
组 的 工作 方式 有 很 大 影响 。 测 试 小 组 要 推动 开发 环境 的 改变 ， 让 它 更 
ee ee Re 


。 测试 团队 ， 是 测试 小 组 的 特点 ， 包 括 专家 经 验 、 工 作 负 载 、 团 队 效 到 
力 、 团 队 动力 、 领 导 力 、 项 目 协作 等 。 


。 测试 实验 室 : 是 测试 小 组 可 使 用 的 软 硬 件 资源 ， 包 括 测试 平台 、 测 试 
工具 、 测 斌 程序 库 、 缺 陷 管理 系统 、 办 公设 备 等 。 


任务 : 是 测试 小 组 要 提供 的 服务 ， 可 能 的 选择 包括 寻找 重要 的 缺陷 、 
评估 质量 和 风险 、 标 准 认 证 、 满 足 过 程 要求 、 服 务 关 系 人 、 承 担 责 

任 、 对 质量 保证 提出 建议 、 对 测试 提出 建议 、 对 质量 提出 建议 、 最 大 
化 效率 、 最 小 化 开销 、 最 小 化 时 间 等 。 测 试 资源 总 是 有 限 的 ， 测 试 小 
组 要 确定 可 承担 的 服务 ， 并 与 整个 项 目 团队 交流 ， 以 达成 一 致意 见 。 
只 有 提供 正确 的 服务 ， 测 试 小 组 的 付出 才 是 有 价值 的 。 


。 测试 过 程 ， 是 完成 测试 任务 所 需要 执行 的 活动 ， 其 要 点 是 测试 策略 > 
保障 条 件 、 工 作 产品 。 
。 策 略 ， 是 实施 测试 的 指导 思想 。 测 试 计划 需要 讨论 测试 内 容 、 测 
试 重点 、 测 试 优先 级 、 测 试 方法 等 内 容 。 
。 保 障 ， 阔 述 如 何 利用 测试 资源 实现 测试 策略 ， 包 括 谁 做 测试 、 何 
时 测试 、 需 要 何 种 软件 、 需 要 何 种 硬件 等 。 
。 产 品 ， 是 测试 过 程 的 产 出 。 常 见 的 产品 包括 测试 设计 规约 、 自 动 
化 测试 用 例 、 测 试 工具 、 缺 陷 报 告 、 测 试 总 结 报告 。 测 试 小 组 需 
要 与 服务 对 象 讨论 ， 明 确 产品 的 类 型 和 要 求 。 


在 HTPCM 的 指引 下 ， 测 试 计划 者 根据 语 境 来 完成 测试 计划 [Bach00a] 
[Bach99] ° 


。 了 解 谁 是 测试 小 组 的 服务 对 象 、 他 们 重视 什么 、 需 要 什么 服务 。 


。 了解 并 协商 当前 项 目 对 测试 工作 的 要 求 和 约束 ， 以 及 能 获得 的 测试 次 
源 〈 人 员 、 时 间 、 软 件 、 硬 件 等 ) 。 


。 分 析 产 品 和 产品 风险 ， 建 立 产 品 和 风险 的 初步 模型 。 

。 协商 并 确定 测试 任务 。 

。 根据 和 要求、 约束 、 资 源 和 任务 ， 制 定 测 斌 过程。 其中， 测试 任务 决定 
测试 策略 和 测试 产品 ， 测 斌 策略 指导 你 障 安排 ， 而 保障 安排 所 能 使 用 


ene 测试 策略 与 保障 安排 相互 依赖 且 
彼此 影响 。 


。 分 译 并 交流 测试 计划 ， 使 整个 项 目 团队 理解 测试 安排 ， 并 获得 相关 反 


。 监控 项 目 情况 ， 并 持续 调整 测试 过 程 ， 合 项目、 任务 和 测试 过 程 可 以 


HTPCM 的 特征 是 测试 计划 者 通 一 考虑 产品 需求 、 项 目 环境 、 测 试 小 组 、 测 
试 资 源 ， 明 确 测 斌 任务， 并 制订 相应 的 测试 过 程 。 它 认为 好 的 测试 计划 是 
基于 语 境 的 ， 只 有 符合 项 目 情 况 的 测试 方案 才能 有 效 地 工作 。 正 如 软件 专 
家 Gerald M. Weinberg 所 说 ， 测 试 方法 各 有 巧妙 ， 无 所 谓 好 坏 。 讨 论 eth 
秀 ”， 不 应 该 只 考虑 测试 方法 本 身 ， 而 是 要 考虑 测试 、 实 现 和 环境 是 否 紧密 
联系 ， 即 “优秀 ?是 对 测试 、 实 现 和 环境 之 间 关 系 的 描述 [Weinberg08] ° 


作为 测试 计划 的 成 果 ， 测 试 计 划 文 档 记 录 了 测试 小 组 的 选择 与 安排 。 表 3-1 

引用 了 Chrome OS 测试 计划 的 章节 标题 [Whittaker12]。 不 难看 出 ， 测 试 计划 

a Fii Arbon 将 测试 过 程 与 开发 过 程 紧密 结合 ， 并 根据 语 境 作 出 了 一 
小 


表 3-1 Chrome OS 测试 计划 


章节 标题 | 在 HTPCM 中 的 概念 所 讨论 的 内 容 


于 务 、 测 试 过 程 之 “| 总 论 测 试 小 组 的 任务 和 基本 策略 
ms 使 用 基于 风险 的 测试 策略 
企 目 标 硬件 矩阵 上 运行 测试 自 元 


策略 


o 支持 快速 的 开发 迭代 

e 开放 工具 和 测试 的 源 代码 
e 将 Chrome OS 作为 Chrome 浏 览 器 的 首要 平台 
级 高 于 其 他 操 it 

任务 是 提供 质量 相关 数据 

关注 可 测试 性 


测试 小 组 性 风险 分 析 ， 包 括 风险 分 析 的 
目的 、 SEALE 


针对 所 有 构 
ie 测试 过 程 之 策略 每 个 构建 都 要 执行 的 测试 : 冒 烟 测试 和 性 能 测试 
Ww 


章节 标题 | 在 HTPCM 中 的 概念 所 讨论 的 内 容 


每 天 对 于 最 新 的 可 测 构建 进行 持续 测试 
F 工 的 验收 测试 
动 化 功能 性 回归 测试 
行 最 热门 He app 的 测试 用 例 
力 测试 、 持 续 测试 、 稳 定性 测试 
续 的 手工 探索 式 测试 和 漫游 测试 
对 自动 更 新 的 测试 


AT 


T: 对 最 新 可 
测 构建 的 每 | 测试 过 程 之 策略 
日 测试 


eeee ee 
me 


寺 于 发 布 候选 构建 的 测试 
针对 发 布 候 i 

选 构建 的 测 | 测试 过 程 之 策略 示 情 景 验证 

陷 验 证 
压力 和 稳定 性 测试 


nasi 测试 过 程 之 策略 手工 eu 自动 化 测试 的 适用 范围 ， 为 测试 资 


des een Ti 发 小 组 和 测试 小 组 各 自 承担 何 包 


责任 


父 艺 项目 乱 班 ”| 概述 产品 发 布 的 阶段 与 过 程 


如 何 获取 用 户 反 馈 和 组 织 他 们 的 数据 


如 何 保存 手工 测试 用 例 和 自动 化 测试 用 例 


测试 小 组 将 质量 数据 用 可 视 化 的 方式 展示 出 来 


测试 小 组 将 利用 虚拟 化 技术 习 


概述 性 能 测试 策略 


章节 标题 


测试 执行 框 
aA 


在 HTPCM 中 的 概念 所 讨论 的 内 容 


测试 过 程 之 策略 


测试 实验 室 之 测试 
程序 库 


需求 之 关系 人 、 测 
试 过 程 之 保障 


测试 实验 室 之 测试 
平台 、 测 试 过 程 之 


端 到 端 测 试 
自动 


测试 浏览 器 
的 应 用 管理 


浏览 器 可 测 
试 性 


测试 过 程 之 策略 


测试 过 程 之 策略 


概述 压力 测试 、 持 续 测 试 、 稳 定性 测试 的 测试 策略 


解释 了 开发 和 测试 小 组 所 使 用 的 测试 执行 框架 


Autotest 


解释 了 测试 小 组 如 何 与 OEM 广 商 合 作 


概述 测试 所 需要 的 硬件 次 


解释 了 端 到 端 测试 的 测试 策略 ， 
的 软 硬 件 组 合 


解释 如 何 测试 浏览 器 的 应 用 管理 


阐述 如 何 实现 浏览 器 可 测试 性 
e 将 Selenium 和 WebDriver 移 植 到 Chrome OS 
e 通过 JavaScript DOM 来 暴露 Chrome 的 用 户 界面 和 功 


是 供 更 高 抽象 水 平 的 自动 化 脚本 


发 之 项 目 周 其 


发 之 项 目 管理 


解释 测试 小 组 所 测试 的 硬件 功能 


解释 了 5 个 里 程 碑 (2009 年 4 季度 、2010 年 1 季度 、 
2010 年 2 季度 、2010 年 3 季度 、2010 年 4 季度 ) 分 别 要 
达成 哪些 目标 


y 


列举 了 测试 活动 的 驱动 角 
斌 活动 


章节 标题 | 在 HTPCM 中 的 概念 所 讨论 的 内 容 
测试 


列举 了 相关 测试 支持 文档 


值得 一 提 的 是 ，Chrome OS 测试 计划 只 有 10 页 (BSE) 。 对 于 如 此 规模 

的 产品 ， 这 确实 是 一 份 非常 精炼 的 文档 。 这 样 做 是 为 了 让 每 位 测试 人 员 都 

能 读 完 测试 计划 ， 并 立即 了 解 最 重要 的 策略 和 安排 。 对 于 一 个 大 型 项 目 ， 

如 此 短小 的 纲领 性 文件 有 助 于 形成 团队 共识 ， 并 聚焦 重点 。 至 于 更 详细 的 

技术 内 容 ， 该 文档 提供 了 一 组 外 部 链接 (相关 文档 ) ， 供 测试 人 员 有 选择 

o 这些 相 关 文 档 通 常 由 测试 驱动 者 编写 ， 能 够 为 实际 测试 提供 有 力 
a 


3.2.2 Google ACC 

ACC (Attributes, Components, Compatibilities) 是 Google 测 试 团队 使 用 的 一 
种 建 模 方法 ， 用 来 快速 地 建立 产品 的 模型 ， 以 指导 下 一 步 的 测试 设计 
[Whittaker12]。Google 的 工程 师 还 开发 了 支持 ACC 的 Web 应 用 ， 并 将 其 开源 ? 


N 


详 见 http://code.google.com/p/test-analytics/ ° 


运用 ACC 建 模 的 第 一 步 是 确定 产品 的 属性 。 属 性 是 产品 的 形容 词 ， 是 与 竞 
的 关键 特征 。 按 照 敏 捷 开 发 的 观点 ， 属 性 是 产品 交付 的 核心 
介 值 。 


《Google 软 件 测 试 之 道 》 (How Google Tests Software ， 人 简称 HGTS) 详细 介 
绍 了 Google+ 的 ACC 模 型 ， 其 中 Google+ 的 属性 如 下 。 


。 社交 ;鼓励 用 户 去 分 享 信息 和 他 们 的 状态 。 

。 PHA: 用 户 可 以 运用 各 种 功能 去 表达 上 自我 。 

。 自如 : 让 用 户 以 直观 的 方式 做 他 们 想 做 的 事 。 

。 相关 : 只 显示 用 户 感 兴趣 的 内 容 。 

。 可 扩展 :能够 与 Google 的 已 有 功能 、 第 三 方 网 站 和 应 用 集成 。 


Ss 


。 隐私 : 用 户 数据 不 会 泄漏 。 


ACC 以 属性 开始 ， 是 产品 竞争 的 自然 选择 ， 也 符合 Google 的 开发 实践 。 在 
Google 的 项 目 中 ， 程 序 员 和 测试 人 员 的 比例 通常 是 10:1 或 更 高 。 程 序 员 会 编 
写 大 量 的 目 动 化 测试 用 例 ， 对 产品 实施 周密 的 测试 ， 因 此 测试 人 员 主 要 天 
注 用 户 价 值 和 系统 测试 。 即 便 如 此 ， 测 试 人 员 也 没有 足够 的 资源 测试 所 有 
用 户 行为 。 因 此 ， 测 试 人 员 通 过 属性 来 明确 产品 的 核心 价值 ， 从 而 区 分 出 
测试 对 象 的 轻重 缓急。 获取 属性 的 信 FURI Agel i 站 经 理 、 T 
员 、 技 术 布 道 者 、 商 业 宣 传 材料 、 产 品 广 告 等 。 测 试 人 员 也 可 以 使 用 “ 卖 
漫游 "来 发 据 和 检验 产 品 的 卖点 [Whittaker09] a 


第 二 步 是 硝 定 产品 的 部 件 。 部 件 是 产品 的 名 词 ， 可 以 理解 为 产品 的 主要 模 
块 、 组 件 、 子 系统 。HGTS 给 出 的 Google+ 部 件 如 下 。 


。 个 人 资料 : 用 户 的 账户 信息 和 兴趣 爱好 。 

。 Atk: 用 户 已 经 连接 的 好 友 ° 

。 信息 流 : 由 帖子 、 评 论 、 通 知 、 照 片 等 组 成 的 有 序 的 信息 流 。 

。 圈子 : 将 好 友 分 组 ， 例 如 把 不 同 的 好 友 归 于 “朋友 ”`“ 同 事 ” 等 小 组 。 

。 通知 : 当 用 户 在 帖子 中 被 提 到 时 ， 向 他 显示 提示 信息 。 

。 视频 群 聊 : 视频 对 话 的 小 组 。 

。 帖子 : 用 户 和 好 友 发 表 的 信息 。 

。 评论 : 对 帖子 、 照 片 、 视 频 等 的 评论 。 

。 RRA: 用 户 和 好 友 上 传 的 照片 。 
部 件 可 以 看 作 功 能 列表 的 顶层 元 素 ， 是 产品 核心 功能 的 清单 。《Google 软 
件 测试 之 道 》 建 议 部 件 列表 要 尽 可 能 简单 ，10 个 部 件 很 好 ，20 个 整 太 多 
了 。 其 目的 是 重点 考虑 对 产品 、 对 用 户 最 重要 的 功能 与 代码 ， 并 避免 漫长 
的 部 件 列表 所 导致 的 分 析 次 痪 。 


第 三 步 是 确定 产品 的 能 力 。 能 力 是 产品 的 动词 ， 描 述 了 部 件 如 何 实现 属 
性 。HGTS 给 出 的 Google+ 能 力 和 矩阵 如 表 3-2 所 示 。 


表 3-2 ”Google+ 的 能 力矩 阵 
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能 力 通 常 是 面 同 用 户 的 ， 有 反映 了 用 户 视角 的 产品 行为 。 测 试 人 员 也 要 保持 
能 力矩 阵 的 简 涪 ， 他 们 应 该 关注 对 用 户 而 言 最 有 价值 、 最 有 吸引 力 的 能 
力 ， 并 在 合适 的 抽象 层次 阐述 能 力 。 最 重要 的 是 ， 能 力 应 该 是 可 测 的 ， 测 
试 人 员 能 够 设计 测试 来 检查 产品 实现 了 预期 的 能 力 。 

有 了 能 力 窍 阵 ， 测 试 团 队 束 完成 初始 的 测试 计划 。 前 Google 测 试 忌 监 James 


Whittaker 称 之 为 “10 分 钟 测试 计划 ”[Whittaker11] 。 其 基本 思路 是 专注 于 核心 
属性 、 核 心 功能 和 核心 能 力 ， 省 略 一 切 不 必要 的 细 季 。 之 后 ， 测 试 团 队 会 


利用 和 矩阵 去 指导 测试 设计 ， 通 党 矩阵 中 的 一 条 能 力 对 应 一 个 测试 对 象 、 测 
试 策略 或 测试 情景 ， 而 复杂 的 能 力 会 演化 出 更 多 的 测试 设计 。 


Google 所 提供 的 开源 Web 应 用 可 以 分 析 项 目 信 息 ， 包 括 测试 用 例 、 代 码 变 
更 、 产 品 缺 陷 等 ， 以 确定 能 力矩 阵 中 的 高 风险 区 域 。 图 3-6 引 用 自 James 
Whittaker 在 GTAC 20103 的 闭幕 演讲 的 幻灯 片 [WwWhittaker10]， 是 Chrome OS 
的 能 力矩 阵 的 热点 图 。 图 中 绿色 表示 低 风 险 区 域 ， 红 色 表 示 高 风险 区 域 ， 
粉红 色 和 柳 色 则 表示 风险 居于 前 两 者 之 间 。 测 斌 人员 可 以 根据 热点 图 ， 更 
好 地 确定 测试 优先 级 ， 将 有 限 的 资源 运用 在 最 需要 的 地 方 。 


| 3 5th Annual Google Test Automation Conference, Hyderabad 2010, http://sites.gtac.biz/gtac2010/ ° 
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图 3-6 Chrome OS 的 热点 图 


许多 团队 的 风险 分 析 依 赖 于 测试 人 员 的 经 验 和 猜测 ，Google 的 ACC 工 具 则 
通过 分 析 项 目 元 素 (测试 用 例 、 代 码 变 更 、 产 品 缺 陷 等 ) 来 识别 风险 。 即 
便 不 使 用 Google 的 工具 ， 测 斌 人员 也 可 以 利用 电子 表格 记录 能 力矩 阵 ， 并 
自行 计算 各 个 条 目的 风险 (一 些 Google 的 测试 人 员 也 是 这 么 做 的 ) 。 在 评 
佑 风险 时 ， 他 可 以 考虑 以 下 因素 (更 多 讨论 参见 第 8 章 ) 。 


。 自动 化 测试 用 例 : 该 区 域 有 上 自动 化 测试 用 例 吗 ? 测试 在 定期 运行 吗 ? 
测试 通过 率 是 多 少 ? 测试 用 例 覆 六 了 哪些 方面 ， 没 有 和 窗 六 哪些 方面 ? 


。 手动 测试 ， 有 人 手动 测试 该 区 域 吗 ? 经 过 测试 ， 他 们 对 该 区 域 有 信心 
吗 ? 如 果 满 分 是 10 分 ， 他 们 会 打 几 分 ? 


。 代码 变更 ， 该 区 域 近期 存在 代码 变更 吗 ? 变更 频繁 吗 ? 变更 是 新 增 功 
能 、 代 码 重 构 、 还 是 缺陷 修复 ? 


。 代 码 复杂 度 ， 代 码 的 规模 是 多 少 ? 代码 是 否 复杂 ? 如 果 复 杂 度 的 满分 
是 10 分 ， 该 区 域 的 代码 能 得 几 分 ? 


。 产品 缺陷 ， 该 区 域 的 缺陷 多 吗 ? 有 哪些 典型 缺陷 ? 哪些 缺陷 已 经 被 修 
R Peerage eigen 
A l 


在 计算 此 类 风险 因素 时 ， 测 试 人 员 可 以 采用 尽 可 能 简单 的 度量 方法 。 一 方 
面 ， 简 单 的 方法 更 容易 解释 度量 值 的 含义 ， 有 助 于 针对 度量 值 采 取 相 应 的 
行动 。 男 一 方面 ， 复杂 的 方法 增 大 了 分 析 的 难度 ， 却 往往 不 能 提供 更 多 的 
收益 。 通 过 测试 去 获得 直接 的 反馈 ， 并 定期 重新 评估 风险 ， 是 更 注重 实效 
的 方法 。 这 也 符合 ACC 的 风格 : 快速 地 前 进 、 持 续 地 和 欠 代 。 在 测试 计划 
时 ， 测 试 人 员 只 要 快速 地 确定 能 力矩 阵 ， 而 不 必 担 心 遗 漏 。 随 着 测试 的 进 
展 ， 他 会 对 和 矩阵 作出 必要 的 调整 ， 以 优化 测试 的 价值 。 


3.2.3 ”测试 设计 规约 


测试 设计 规约 记录 了 测试 人 员 的 测试 设计 。 其 内 容 和 形式 往往 由 测试 小 组 
决定 ， 许 多 测试 小 组 还 制定 了 相应 的 文档 模板 。 本 和 介绍 一 些 测试 设 计 规 
约 的 编写 技巧 ， 供 测试 人 员 参 考 。 


第 一 ， 测 试 设计 规约 是 一 个 “容器 >， 可 以 容纳 各 种 测试 模型 和 资料 。 本 章 
所 介绍 的 测试 文档 ， 如 功能 列表 、 思 维 导 图 、Google ACC 等 ， 都 可 以 纳入 
同一 份 测试 设计 规约 ， 以 便 从 不 同 角 度 、 不 同 层面 来 描述 测试 设计 。 


测试 人 员 应 该 用 最 直观 、 最 方便 的 形式 表达 测试 设计 。 对 于 某 些 测 试 设 

计 ， 符 号 列表 (和 思维 导 图 ) 的 层次 结构 很 方便 ， 对 于 另 一 些 设计 ， 表 格 
(如 Google ACC 的 能 力矩 阵 ， 所 提供 的 二 维 结构 就 很 直观 ， 在 某 些 情况 

下 ，UML 等 图 形 化 的 表达 更 有 表现 力 。 可 见 ， 并 不 存在 普 衣 适用 的 测试 记 
录 方 式 ， 测 斌 人 员 需 要 用 不 同 的 方式 记录 不 同 的 测试 设计 。 作 为 测试 设计 
的 主要 载体 ， 测 试 设计 规约 需要 容纳 多 样 化 的 测试 表达 ， 也 可 以 用 链接 指 
向 相关 测试 文档 。 


第 二 ， 测 试 人 员 需 要 建立 测试 设计 的 框架 。 首 先 ， 他 要 列举 测试 类 型 ， 例 
如 功能 测试 、 安 全 测试 、 性 能 测试 、 易 用 性 测试 等 。 然 后 ， 针 对 测试 类 
型 ， 列 出 主要 测试 想法 ， 例 如 图 3-3 的 功能 列表 (和 图 3-4 的 思维 导 图 ) 列举 
了 图 片 功能 测试 的 主干 和 分 文 。 


清晰 的 框架 让 测试 人 员 和 评审 者 在 整体 上 把 握 测 试 设计 ， 知 晓 测 试 所 履 瘟 
的 范围 。 如 末 设 计 遗 漏 了 某 种 测试 类 型 ， 评 审 者 能 够 快速 发 现 该 问题 ， 并 
提出 改进 意见 。 此 外 ， 在 测 斌 学习、 设计、 执行 、 评 估 的 欠 代 中 ， 测 试 人 


员 会 逐渐 掌握 更 多 的 软件 和 测试 知识 。 开 放 性 的 框架 提供 了 可 扩展 的 结 
构 ， 方 便 测 试 人 员 补 充 测试 想法 ， 增 强 整 体 测试 设计 。 


第 三 ， 测 试想 法 优 于 测试 用 例 。 测 试用 例 详细 地 记录 了 测试 设计 ， 包 括 测 
试 环境 、 执 行 步 怠 、 检 查 方法 、 预 期 结果 等 。 在 软件 项 目 中 ， 测 试 人 员 会 
执行 许多 测试 用 例 ， 有 些 测 试用 例 往往 只 运行 一 次 ， 详 细 地 记 杂 所 有 测试 
用 例 将 占用 过 多 的 项 目 时 间 ， 上 压缩 了 实际 测试 的 时 间 。 而 且 ， 随 着 项 目的 
发 展 ， 软 件 设 计 第 津 会 发 生变 动 ， 这 导致 许多 测试 用 例 不 再 有 效 。 详 细 地 
记录 测试 用 例 势 必 导 致 沉重 的 文档 维护 任务 。 在 进度 压力 下 ， 一 些 测试 人 
员 选 择 不 再 维护 文档 ， 而 逐渐 过 时 的 文档 最 终 会 被 遗弃 。 


为 了 降低 编写 和 维护 测试 设计 的 代价 ， 我 建议 测试 人 员 优 先 记录 测试 想 
法 ， 只 在 必要 时 添加 详细 摘 述 。 例 如 ， 必 应 词典 客户 端 从 服务 端 获得 单词 
的 中 文 解 释 ， 服 务 端 所 返回 的 是 一 份 XML 文 档 。 针 对 服务 端 可 能 返回 错误 
的 XML 文档 ， 测 试 人 员 可 以 记录 如 下 测试 想法 。 


。 RARAHI, AREE ° 
。 RAMEE EB AN Ee XML CHS © 


。 服务 端 返回 的 字符 串 是 XML 文档 ， 但 是 该 XML 文档 不 符合 必 应 词典 所 
定义 的 XML Schema。 


。 服务 端 返 回 的 XML 文档 符合 预定 义 的 XML Schema， 但 是 该 文档 包含 错 
误 。 重 点 考虑 的 错误 : 单词 的 中 文 解释 为 至 字符 串 、 单 词 的 中 文 解释 
包含 非法 字符 、 单 词 的 中 文 解释 超 长 。 


。 如 采 有 恶意 网 站 伪 故 成 必 应 词典 服务 端 同 客 户 短发 送 亚 意 XML 文 档 ， 
Ping Eo ee DE? 


这 些 测 试想 法 没有 记录 测试 环境 、 执 行 步 怠 、 检 查 方 法 和 预期 结 采 等 如 何 
测试 的 信息 ， 只 简要 地 描述 了 测试 动机 (检查 必 应 词典 可 以 处 理 服 务 端 的 
错误 ) 和 测试 内 容 。 这 让 测试 人 员 用 较 短 的 时 间 记 录 更 多 的 测试 设计 ， 也 
简化 了 测试 评审 的 工作 。 在 测试 迄 代 中 ， 测 试 人 员 可 以 补充 新 的 测试 想 
法 ， 也 可 以 加 入 一 些 如 何 测试 的 细节 ， 让 测试 过 程 产生 有 价值 的 文档 。 


第 四 ， 合 理 地 使 用 文档 模板 。 许 多 团队 都 提供 了 测试 设计 规约 的 文档 模 
板 ， 许 多 测试 人 员 也 项 望 获得 模板 来 简化 文档 工作 。 不 过 ， 模 板 只 古 产 生 
文档 的 工具 ， 它 不 能 取代 思考 和 交流 。 如 果 根 据 模 板 亦 步 亦 趋 地 填写 其 中 
的 至 日 ， 测 试 人 员 可 能 被 它 束 缚 了 思路 ， 所 产生 的 文档 “看 上 去 很 好 >”， 但 
是 缺乏 多 样 性 的 测试 想法 。 


为 了 更 好 地 设计 测试 ， 一 些 测试 人 员 在 设计 之 初 并 不 使 用 模板 ， 而 是 将 测 
试想 法 写 在 白 纸 或 空白 文档 中 [Kelly11a][Kelly11b]。 他 们 尽 可 能 记录 各 种 测 
试想 法 ， 而 不 考虑 记录 格式 或 其 他 约束 。 当 大 部 分 测试 设计 完成 后 ， 他 们 
将 测试 设计 移入 模板 ， 以 获得 符合 项 目 要 求 的 文档 。 在 此 过 程 中 ， 他 们 用 
模板 去 检查 测试 设计 的 完整 性 ， 并 补充 之 前 遗漏 的 测试 想法 。 


3.2.4 ”功能 列表 


3.1.3 世 以 PowerPoint 的 图 片 功能 为 案例 ， 介 绍 了 功能 列表 。 这 是 一 种 功能 测 
运 遇 建 模 方法 ， 通 过 闻 产 品 的 驴 能 分 解 为 层次 结构 ， 为 切 能 黎 兰 演 供 指 
sr? 


功能 列表 与 漫游 测试 可 以 相互 广 持 。 漫 游 测 试 是 一 组 以 漫游 隐喻 为 核心 的 
测试 方法 [Kaner11] 《5.4 节 将 详细 讨论 漫游 测试 ) 。 在 应 用 漫游 测试 时 ， 测 
试 人 员 和 常常 会 游历 被 测 产品 的 功能 、 结 构 和 数据 ， 并 运用 他 的 技能 和 经 验 
去 发 握 产 品 的 缺陷 。 


一 方面 ， 功 能 列表 为 功能 漫游 提供 了 有 益 的 信息 。 它 像 一 幅 地 图 ， 既 描绘 
了 产品 的 概况 ， 双 提供 了 必要 的 细 广 ， 为 探索 者 提供 了 指南 与 参考 。 测 试 
人 员 可 以 漫游 功能 列表 上 的 所 有 元 素 ， 以 实施 全 面 探索 ;也 可 以 选择 遍历 
某 个 功能 子 集 ， 以 实施 专项 测试 。 


在 男 一 方面 ， 倘 辱 测 斌 人员 不 了 解 被 测 产 品 ， 他 可 以 通过 功能 漫游 来 建立 
功能 列表 。 从 这 个 角度 ， 漫 游 的 过 程 束 是 测试 建 模 的 过 程 ， 功 能 列表 就 是 
测试 建 模 的 产 出 。 测 试 专家 Cem Kaner 建 议 ， 在 软件 尚 不 成 熟 时 ， 测 试 人 员 
应 该 同情 地 测试 [Kaner01]。 此 时 ， 测 试 的 目的 不 是 发 现 所 有 缺陷 ， 而 是 建 
立 测试 模型 ， 发 现 风 险 区 域 ， 为 今后 的 测试 页 定 基础 。 对 此 ， 测 试 专家 

Michael Bolton 有 一 番 精 彩 的 论述 : “同情 地 测试 非常 重要 ， 一 些 测 试 人 员 会 
忍 不 住 全 力 寻 找 缺 陷 。 但 是 Jon Bach4 说 在 探索 式 测试 的 早期 ， 要 通过 测试 
来 发 现 产 品 的 优点 。 我 觉得 这 很 奇怪 ， 他 指出 ， 如 果 只 是 寻 找 并 记录 缺 

陷 ， 束 不 能 专注 地 淄 游 产品 并 构建 产品 的 模型 ， 我 才 悦 然 大 悟 。”[Kaner11] 


4 Jon Bach 和 James Bach 是 兄弟 ， 他 们 都 是 知名 的 测试 专家 。 


测试 人 员 需 要 建立 产品 的 大 局 观 ， 同 时 掌握 产品 的 优点 、 缺 点 、 概 念 模型 
和 实现 逻辑 。 漫 游 测试 是 很 好 的 学 习 过 程 ， 功 能 列表 是 一 个 有 益 的 学 习 成 
果 。 


在 测试 设计 与 执行 时 ， 测 试 人 员 可 以 将 功能 列表 视 作 罗 兰 率 指南 。 他 逐个 
难得 每 个 功能 ， 阅 读 相 关 的 测试 想法 ， 从 而 产生 新 的 测试 想法 。 在 此 过 


程 ， 他 可 以 目 问 : 

该 功能 与 当前 测试 任务 相关 吗 ? 

该 功能 存在 什么 风险 ? 可 能 会 有 什么 缺陷 ? 
通过 什么 测试 可 以 发 现 这 些 缺 陷 ? 


在 上 次 测试 中 ， 该 功能 表现 如 何 ? 已 有 的 测试 想法 ， 哪 些 值得 再 次 党 
试 ? 哪些 不 必 再 测 ? 


。 依据 当前 的 进度 和 和 资源， 如何 实施 这 些 测试 ? 

。 功能 列表 是 否 充分 ” 有 没有 汤 挥 一 些 功能 ? 
太一 种 更 有 效 的 方法 是 综合 功能 列表 中 的 多 个 元 素 ， 来 测试 功能 的 协作 。 
随 着 产品 未 渐 成 熟 ， 隐 蔽 的 缺陷 往往 存在 于 功能 的 组 合 ， 其 露 于 复 淋 的 流 
程 。 这 要 求 测试 人 员 综 合 多 方面 的 信息 ， 来 更 深入 、 更 多 样 地 测试 系统 。 
当 测 试 人 员 考 虑 功能 的 组 合 时 ， 他 可 以 目 辣 : 

。 该 功能 与 哪些 功能 相关 ? 

。 功能 的 组 合 有 没有 揭示 出 新 的 风险 ? 可 能 会 有 什么 缺陷 ? 

。 哪些 功能 访问 同一 批 数据 ?哪些 是 生产 者 ”哪些 是 消费 者 ? 

。 如 何 设计 测试 来 同时 测试 这 些 功能 ? 

ee 

? 


E E R A ee 
在 回归 测试 时 ， 功 能 列表 是 很 好 的 参考 。 例 如 ， 测 试 人 员 可 以 按 如 下 测试 
策略 对 PowerPoint 的 图 片 功能 (如 图 3-3 所 示 ) 进行 回归 测试 。 

1. 新 建 一 个 PowerPoint 文 档 。 
2. 回 文 档 中 插入 图 片 。 
。 禾 盖 所 有 文 持 的 图 片 格式 。 


。 HS mAAMA AT ° 

。 黎 兰 来 目 单反 相机 的 大 型 图 片 。 
3. 操作 文档 中 的 图 片 。 

。 fm ALA” POA ° 

。 用 一 个 命令 修改 图 片 。 

。 用 多 个 命令 修改 图 片 。 

。 保持 一 些 图 片 不 被 修改 。 
4. 应 用 文档 中 的 图 片 。 

。 将 图 片 与 其 他 元 素 组 合 使 用 。 

。 覆盖 文本 框 、 形 状 、SmartArt、 图 表 、 日 期 与 时 间 等 元 素 。 
5. 将 文档 中 的 元 素 导 出 为 图 片 。 
覆盖 所 有 可 以 被 输出 的 元 素 ， MA ` EE ` EI ` SmartArt ` HRS o 
履 兰 所 有 文 持 的 图 片 格式 。 


覆盖 相关 的 用 户 界面 命令 : 上 下 文 菜单 ( 即 右 键 弹 出 菜单 ) > 
Se (点 击 “ 文 件 ” “导出 ”-~“ 改 变 文件 类 型 >) 、 复 制 粘 贴 到 画 


覆盖 相关 的 Visual Basic Application RIEA o 
6. 打印 该 文档 。 

。 打印 到 黑白 打印 机 ° 

。 打印 到 彩色 打印 机 ° 

。 打 印 到 PDF 文档 。 

。 打印 到 XPS 文 档 。 
7. 保存 该 文档 并 重新 打开 。 


。 另存 为 所 有 文 持 的 格式 。 

。 用 PowerPoint 打 开 生 成 的 文档 。 

。 用 旧版 本 PowerPoint 打 开 生 成 的 文档 。 
利用 该 测试 策略 ， 测 试 人 员 可 以 用 一 个 很 长 的 流程 履 新 大 多 数 的 图 片 功 
能 ， 不 但 测试 了 图 片 与 其 他 功能 的 组 合 ， 还 测试 了 程序 的 稳定 性 和 资源 占 
用 。 测 试 结束 上 时， 测试 人 员 可 以 获得 一 个 大 型 的 PowerPoint 文 档 ， 它 包含 各 
种 图 片 和 元 素 ， 为 今后 的 回归 测试 提供 民 好 的 测试 数据 。 
3.25 ”大 纲 与 思维 导 图 


功能 列表 用 层次 结构 表达 软件 的 功能 。 与 之 类 似 ， 测试 人 员 可 以 用 层次 结 
构 组 织 测试 想 法 ， 使 得 测试 想法 的 分 > 类 类 关系 一 目 了 然 。 


我 习惯 用 大 纲 来 记录 测试 想法 。 在 文档 编辑 器 (如 Microsoft Word) 中 ， 符 
号 列表 、 编 号 列表 和 多 级 列表 都 可 以 方便 地 编写 和 修改 测试 想法 的 大 纲 。 


此 外 ， 许 多 测试 人 员 喜 欢 用 思维 导 图 来 记录 测试 想法 ， 也 获得 了 很 好 的 效 
果 。 图 3-7 是 测试 专家 Darren McMillan 制 作 的 思维 导 图 形式 的 测试 计划 
[McMillan11]。 限于 篇 幅 ， 该 图 仅 呈 现 了 原 测 试 计划 的 局 部 5， 但 仍旧 可 以 
看 出 思维 导 图 的 一 些 重要 特点 。 


|5 完整 的 思维 导 图 : http: //www.bettertesting, co.uk/content/?p=956 。 此 外 ，ministryoftesting.com 也 提 
| 供 了 许多 软件 测试 的 思维 导 图 
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图 3-7 功能 测试 的 思维 导 图 (局 部 ) 


。 与 大 纲 一 样 ， 思 维 导 图 提供 了 清晰 的 层次 结构 。 沿 着 图 中 线条 ， 某 个 
想法 衍生 出 更 具体 的 想法 ， 而 这 批 想 法 又 继续 衍生 出 更 细致 的 想法 。 
这 种 清晰 的 结构 让 测试 人 员 方 便 地 把 握 测 试想 法 的 分 类 与 层次 。 


思维 导 图 用 词语 来 记录 测试 设计 ， 这 使 测试 人 员 专 注 于 思考 。 由 于 无 
需 写 下 不 必要 的 细节 ， 测 试 人 员 可 以 用 较 短 的 时 间 记 录 大 量 的 测试 想 
人 
ay [e] 


图 3-7 的 “需求 测试 ?拥有 一 个 注释 ， 它 包含 更 详细 的 测试 设计 。 有 时 ， 
词语 或 短 句 并 不 能 很 好 地 传递 测试 想法 ， 必 要 的 注释 能 够 进一步 解释 
测试 思路 ， 消 除 误解 。 在 这 一 点 上 ， 电 子 的 思维 导 图 既 保留 了 传统 的 
思维 导 图 的 简 涪 ， 又 拥有 更 丰富 的 信息 。 


与 大 纲 相 比 ， 思 维 导 图 更 “ 引 人 注 目 ”。 图 3-7 使 用 了 形状 、 线 条 、 关 
色 、 维 度 、 质 地 等 视觉 元 素 ， 它 们 激发 了 大 脑 的 兴趣 ， 这 是 单纯 的 文 
字 列 表 难 以 做 到 的 。 当 测试 人 员 对 一 幅 图 感 兴 趣 时 ， 他 会 更 积极 地 思 
和 
Ht $ 


BESE HRE ` tS SE CAR FIATS ML, Aem S A 
传达 的 效率 。 如 图 3-7 所 示 用 红色 的 (D、 黄 色 的 CD、 蓝 色 的 3 表示 测试 
想法 的 优先 级 ， 使 得 测试 优先 级 一 目 了 然 。 


大 纲 和 思维 导 岁 都 或 励 测试 人 员 扩展 已 有 的 结构 ， 持 续 地 加 入 想法 。 
经 过 一 段 时 间 的 努力 ， 测 试 人 员 可 以 积 索 一 大 批 相互 关联 的 测试 想 
法 。 此 时 ， 大 纲 的 呈现 会 遇 到 一 定 的 困难 。 对 比 图 3-3 的 大 纲 和 图 3-4 的 
思维 导 图 可 知 ， 对 于 数量 相同 的 测试 想法 ， 大 纲 的 长 度 更 长 ， 这 使 得 
同一 层次 的 测试 想法 在 视觉 上 玻 离 ， 且 没有 充分 利用 屏幕 的 宽度 。 反 
MESK, HAWER, MANAIA, CARER, E 
地 利用 了 屏幕 的 宽度 。 随 着 视屏 显示 器 的 普及 ， 思 维 导 图 在 排版 上 的 
优势 更 明显 。 


除了 测试 计划 和 设计 ， 测 试 人 员 还 可 以 将 思维 导 图 应 用 于 测试 报告 、 信 息 


组 织 、 自 我 管理 等 领域 [McMillan11]。 作 为 一 款 思维 辅助 工具 ， 其 应 用 领域 
几乎 是 无 限 的 。 


3.2.6 ”表格 (KERE) 


在 测试 设计 中 ， 表 格 适 合 表达 两 个 变量 之 间 的 关系 或 两 个 变量 共同 作用 的 
结果 。 例 如 ， 表 3-2 从 软件 能 力 的 角度 表达 了 属性 与 部 件 的 关系 。 又 例如 ， 
表 3-3 是 浏览 郁 兼 容 性 测试 的 配置 窍 阵 ， 所 记录 的 测试 结果 可 以 看 作 是 浏览 
句 X 与 功能 Y 共 同 作用 的 结果 ° 


表 3-3 浏览 器 兼容 性 测试 的 配置 矩阵 


| ame | aaen |m |e | ete | ce 


在 测试 设计 时 ， 测 试 人 员 用 表 3-3 规 划 即 将 实施 的 测试 ， 佑 算 完 成 全 部 测试 
需要 的 时 间 。 在 表格 下 方 ， 他 可 以 记录 每 个 功能 的 测试 想法 ， 这 些 想法 可 
以 在 多 个 浏览 器 中 复 用 。 在 测试 执行 时 ， 他 可 以 在 表 中 记录 测试 结果 ， 例 
如 所 发 现 缺 陷 的 ID。 在 测试 完成 后 ， 他 对 表格 稍 作 整理 ， 将 其 作为 测试 总 
结 报告 的 一 部 分 发 送 给 测试 经 理 。 测 试 经 理 可 以 很 直观 地 了 解 测试 情况 ， 

包括 哪些 功能 还 需 修 复 、 哪 些 浏览 器 的 支持 还 需 增 强 。 


表格 还 适合 比较 数据 ， 这 在 性 能 测试 中 尤为 常见 。 例 如 ， 测 试 人 员 为 了 比 
较 软件 的 两 个 版 本 之 间 的 性 能 差异 ， 设 计 了 性 能 测试 表 ( 见 表 3-4) 。 该 表 
格 测试 了 两 个 操作 在 不 同 数据 集 下 的 耗 时 。 测 话 完 成 后 ， 测 试 人 员 可 以 用 
电子 表格 软件 的 "条件 格式 ”功能 ， 使 数据 单元 格 中 出 现 反 映 数值 大 小 的 数 
据 条 。 这 使 得 表格 可 以 直观 地 显示 两 个 版 本 的 性 能 差异 。 此 外 ， 他 可 以 生 
成 该 表格 的 数据 图 〈 见 图 3-8) ， 从 而 可 视 化 地 分 析 数 据 。 


表 3-4 人 性能 测试 的 数据 表 


数据 集 1 数据 集 2 数据 集 3 
操作 1 版 本 1 10 11 9 


a a 


数据 集 1 数据 集 2 数据 集 3 


四 版 本 1 加 版 本 2 旧版 本 1 号 版 本 2 


3-8 性 能 测试 的 数据 图 

此 外 ， 表 格 还 常用 于 表达 业务 规则 。 著 名 的 自动 化 测试 框架 Fits 就 使 用 表格 
记录 测试 用 例 。 图 3-9 是 记录 在 HTML 文件 中 的 Fit 表格 ， 它 以 测试 用 例 的 
形式 表达 了 发 放贷 款 的 业务 规则 [Mugridge05]。 其 具体 含义 如 下 。 


| 6 http://fit.c2.com/ ° 


。 表 头 CalculateCredit 对 应 了 一 个 夹具 。 一 个 夹具 就 是 一 段 测 试 代 码 ， 它 
决定 了 如 何 解读 表格 的 数据 ， 并 调用 被 测 对 象 。 

。 表格 的 第 二 行 《标题 行 ) ， 标 注 了 贷款 发 放 的 输入 值 和 预期 结果 ， 其 
中 months、reliable、balance 是 输入 列 ，allow credit() 和 credit limitO 是 预 


期 结果 列 。 


。 表格 的 数据 行 记 录 了 具体 的 测试 用 例 ， 例 如 表格 的 第 三 行 就 明确 陈 
wit: 当 months=14，reliable=true，balance = 5000.00 时 ，allow creditO 应 
该 为 tue，credit limit() 应 该 为 1000.00， 翻 译 为 自然 语言 束 是 “ 当 借 借 期 
限 为 14 个 月 、 客 户 可 以 被 信赖 、 结 余 为 5000 元 时 ， 人 允许 借贷 且 借 贷 额 
度 为 1000 元 ”。 


- EE 


2] C:\Users\liangshi\Des} O ~ © | E C:\Users\liangshi\ Desk... 


CalculateCredit A 


allow credit()|credit limit() 
mn C 


v 


图 3-9 测试 “计算 贷款 ”的 Fit 表 格 


在 设计 测试 时 ， 测 试 人 员 与 业务 人 员 一 起 工作 。 业 务 分 析 师 用 Fit 表 格 编写 
测试 用 例 ， 测 试 人 员 编 写 夹 具 代 码 ， 并 帮助 业务 分 析 师 组 织 测试 用 例 ， 而 
这 些 测 试用 例 曾 述 了 产品 的 业务 规则 。 在 运行 测试 时 ，Eit 框 以 读 取 表 格 中 
的 数据 ， 调 用 表格 指定 的 夹具 ， 传 入 输入 值 ， 并 检查 返回 结 有 末 。 如 果 返 回 
结 采 符合 预期 结 末 ， 则 测试 通过 ， 否 则 测试 失败 。Fit 产 生 的 测试 报告 是 原 
表格 的 复制 版 ， 测 试 通过 的 预期 结 采 单元 格 被 标记 为 绿色 ， 测 试 失 败 的 预 
期 结 采 单元 格 被 标记 为 红色 。 


利用 Fit 表 格 ， 测 试 人 员 和 业务 分 析 师 能 够 紧密 合作 ， 发 挥 各 目的 技能 优 
势 ， 实 现 业 务 规则 的 自动 化 测试 。 而 且 ，Fit 表 格 是 对 需求 更 为 清晰 的 描述 
方法 ， 能 够 帮助 程序 员 更 好 地 理解 系统 、 更 快 地 测试 、 更 安全 地 重 构 代 码 
[Mugridge05]。 所以，Fit 并 不 是 一 球 单纯 的 测试 框架 ， 在 许多 开发 者 服 中 人 它 
征 业 务 分 析 师 、 测 试 人 员 和 程序 员 的 协作 工具 。 


在 以 上 几 个 例子 中 ， 表 格 既 是 测试 设计 的 产物 ， 又 是 测试 执行 和 测试 报告 
的 工具 。 这 说 明 在 实际 的 测试 工作 中 ， 测 试 计划 、 测 试 笔 记 和 测试 报告 应 


该 紧密 联系 。 在 一 些 情况 下 ， 它 们 可 能 来 源 于 同一 份 文档 。 
3.2.7 ”测试 指南 


测试 指南 针对 特定 领域 ,阐述 被 测 对 象 的 特征 和 相应 的 测试 策略 ， 帮 助 测 
试 人 员 了 解 基 本 的 领域 知识 ， 并 实施 有 针对 性 的 测试 。 测 试 人 员 在 工作 中 
积累 了 许多 技能 和 经 验 ， 在 进入 一 个 新 领域 时 ， 他 可 能 需要 一 些 帮助 ， 以 
便 将 已 有 知识 应 用 在 新 的 测试 任务 中 。 一 份 好 的 测试 指南 能 够 让 测试 人 员 
快速 上 手 ， 发 挥 他 已 有 的 技能 ， 并 避免 一 些 典 型 的 错误 。 


微软 在 Windows 8 中 引入 了 一 种 新 的 应 用 : Windows 8 应 用 (俗称 “MetroKy 
FA”) 。 为 了 帮助 开发 者 更 好 地 开发 和 测试 Windows 8 应 用 ， 微 软 Windows 

团队 发 布 了 一 篇 文章 Testing Metro style apps in Windows 87 。 这 篇 文章 可 以 
看 作 一 篇 概括 性 的 测试 指南 ， 指 出 了 Windows 8 应 用 的 特点 和 对 应 的 测试 策 
上 略 。 其 内 容 结构 如 下 [Sundaram12]。 


7 http://blogs.msdn.com/b/windowsappdev/archive/2012/07/12/testing-metro-style-apps-in-windows-8.aspx 


。 测试 应 用 的 激活 : 介绍 了 应 用 的 各 种 激活 方式 。 
。 测试 应 用 的 运行 ， 这 是 文章 的 重点 ， 介 绍 了 多 个 Windows 8 应 用 的 特点 
和 相应 的 测试 要 点 ， 包 括 动态 位 贴 、 通 知 、 协 议 、 旋 转 、 触 措 、 折 对 
和 全 屏 视 图 、 不 同 的 屏幕 尺寸 、 数 据 漫 游 、 传 感 融 、 错 误 处 理 等 。 
。 测试 应 用 的 挂 起 : 介绍 了 应 用 如 何 正确 地 挂 起 和 相应 的 测试 要 点 。 
。 测试 应 用 的 恢复 : 介绍 了 应 用 如 何 正 确 地 恢复 和 相应 的 测试 要 点 。 
。 测试 应 用 的 终止 : 介绍 了 Windows 如 何 终止 应 用 和 相应 的 测试 要 点 。 
。 测试 应 用 在 不 运行 时 的 行为 : 在 主 程序 不 运行 的 情况 下 ，Windows 可 
以 通过 动态 做 贴 、 通 知 、 后 台 任 务 来 执行 应 用 的 部 分 代码 。 该 小 节 介 
绍 了 相关 知识 和 测试 要 点 。 
这 篇 测试 指南 以 应 用 的 状态 为 核心 ， 介 绍 了 Windows 8 应 用 所 特有 的 知识 ， 
并 提供 了 针对 性 很 强 的 测试 生 略 。 读 完 这 篇 文章 ， 测 试 人 员 可 以 掌握 
Windows 8 应 用 的 基本 测试 知识 ， 从 而 更 有 效 地 策划 对 目 己 产品 的 测 弃 。 


除了 产品 之 外 ， 一 些 专项 测试 也 需要 编写 测试 指南 。 例 如 ， 全 球 化 是 一 些 
软件 的 重要 需求 ， 它 会 全 面 地 影响 数据 存储 和 界面 展示 。 因 此 ， 软 件 的 大 


多 数 功 能 都 需要 考虑 全 球 化 需求 ， 测 试 小 组 的 每 个 人 都 需要 考虑 全 球 化 测 
试 。 但 是 全 球 化 测试 是 一 个 专业 性 比较 强 的 领域 ， 需 要 较 多 的 知识 积 素 才 
能 有 效 实施 。 为 此 ， 测 试 经 理 可 以 安排 一 名 测试 人 员 作 为 全 球 化 测试 的 负 
责 人 ， 让 他 深入 研究 该 领域 的 编程 和 测试 技术 ， 并 撰写 一 份 测试 指南 。 这 
份 指 南 提供 全 球 化 测试 的 基本 知识 、 测 试 方法 、 篆 见 缺陷 、 冰 用 工具 、 参 
考 痪 料 等 内 容 。 测 斌 小 组 成 员 阅 读 这 份 文档 ， 并 与 该 负责 人 交流 ， 从 而 针 
对 目 己 负责 的 功能 设计 全 球 化 测试 。 在 交流 与 测试 的 过 程 中 ， 负 责 人 可 以 
逐步 改进 测试 指南 ， 使 它 更 符合 项 目的 特点 和 测试 的 需要 。 


3.2.8 ”测试 想法 列表 


测试 想法 列表 是 一 种 简化 的 测试 指南 ， 列 出 了 一 组 测试 想法 ， 帮 助 测试 人 
员 构 思 具 体 的 测试 。 最 著名 的 例子 是 Quality Tree Software 发 布 的 测试 局 发 
式 方 法 备 忘 单 ? [QualityTree06]。 图 3-10 是 该 备 扑 单 的 局 部 ， 提 供 了 一 些 数 
据 攻 击 的 想法 ， 所 针对 的 数据 类 型 包括 路 径 与 文件 、 时 间 与 日 期 、 数 字 与 
计算 。 该 备 扎 单 将 测试 想法 进行 了 分 类 ， 测 斌 人员 可 以 快速 找到 相关 的 测 
试想 法 。 每 一 测试 想法 都 用 简单 的 词汇 、 短 语 或 实例 来 说 明 ， 测 试 人 员 能 
够 快速 知晓 ， 立 即 应 用 。 


| 8 http://www.quality-testing.com/wp-content/uploads/2009/06/testheuristicscheatsheetv1.pdf ° 


Data Type Attacks 


Paths/Files Long Name (>255 chars) = Special Characters in Name (space *?/\|<>,.Q)[]{};:'"! 
@#%$% 4 &) * Non-Existent = Already Exists = No Space = Minimal Space = Write- 
Protected = Unavailable + Locked » On Remote Machine « Corrupted 
Time and Date Timeouts * Time Difference between Machines = Crossing Time Zones * Leap Days * 
Always Invalid Days (Feb 30, Sept 31) * Feb 29 in Non-Leap Years « Different Formats 
(June 5, 2001; 06/05/2001; 06/05/01; 06-05-01; 6/5/2001 12:34) = Daylight Savings 
Changeover « Reset Clock Backward or Forward 
Numbers O = 32768 (2'5) = 32769 (215 + 1) = 65536 (2'6) = 65537 (2'6 +1) = 2147483648 (2°!) = 
2147483649 (2°! + 1) = 4294967296 (2°?) = 4294967297 (2°? + 1) = Scientific Notation 


(1E-16) + Negative « Floating Point/Decimal (0.0001) = With Commas (1,234,567) 。 
European Style (1.234.567,89) = All the Above in Calculations 


图 3-10 ”测试 启发 式 方法 备 忘 单 局部) 


虽然 该 备 走 单 不 可 能 穷尽 所 有 的 测试 想法 ， 但 是 受到 许多 测试 人 员 的 肯 

定 。 其 根本 原因 是 它 舍 弃 了 所 有 修饰 ， 用 最 简洁 和 直接 的 方式 提供 测试 灵 
感 ， 在 很 短 的 篇 幅 内 提供 了 许多 有 价值 的 建议 。 此 外 ， 其 简洁 的 形式 让 测 
斌 人员 可 以 随时 增加 测试 想法 。 随 着 测试 想法 的 补充 ， 该 列表 会 拥有 更 多 
的 领域 知识 ， 从 而 更 切合 当前 项 目 。 


男 一 个 典型 的 测试 想法 列表 是 The Test Eye 发 布 的 "37 个 测试 想法 来 

源 ”[TheTestEye12]。 图 3-11 是 根据 该 文档 生成 的 思维 导 图 ， 它 包含 JE : 

产品 、 关系 人 、 业 务 、 团 队 、 外 部 6 个 方面 ， 共 37 个 测试 想法 的 信息 源 。 测 
试 人 员 可 以 依次 考虑 每 个 信息 源 ， 从 中 获得 测试 灵感 或 行动 计划 。 虽然 该 

测试 想法 列表 比较 抽象 ， 难以 直接 用 于 测试 执行 _ 它 帮 助 测试 人 员 从 

多 个 角度 考虑 测试 ， 能 够 发 现 原 有 测试 设计 的 言 点 


BEELA 
a /一 信息 对 象 
产品 恐惧 | -am 
[使 用 情景 m (测试 资料 
领域 信息 a) F Sh P na) 
CDu we Oai) 
Tos k> \ / G 付 品 ) 
[产品 愿 时 a a | ~IA) 
TD F 测试 想法 来 尖 | ror 
法 律 因素 | 一 A / ABBR) 
[创意 想法 oe hh 十 模型 
m N 二 数据 
[你 自己 广 一 ~ i —{ Ft) 
Gino rs [产品 历史 ] 
Oa D4 E- 道 信息 ] 
ER 一 四 于 一 实际 软件 ] 
casa (技术 


图 3-11 37 个 测试 想法 来 源 


此 外 ， 测试 专家 家 Rikard Edgren 发 布 的 免费 电子 书 The Little Black Book on Test 
Design 9 记录 了 他 收集 整理 的 大 量 测试 想法 [Edgren11]， 也 很 值得 测试 人 员 
参考 。 


9 http://thetesteye.com/blog/2011/09/the-little-black-book-on-test-design/ ° 


3.2.9 质量 特性 列表 


质量 特性 列表 记录 了 软件 需要 考虑 的 质量 因素 。 它 帮助 测试 人 员 识 别 出 产 
品 需 要 文 持 的 质量 因素 ， 从 而 为 进一步 的 测试 设计 提供 线索 。 


质量 特性 列表 的 典型 例子 是 The Test Eye 发 布 的 软件 质量 特性 集 10 
[TheTestEye11]。 图 3-12 展 示 了 该 文档 的 结构 ， 其 主要 质量 特性 包括 : 能 
力 、 可 靠 性 、 可 用 性 、 魅 力 、 安 全 性 、 人 性 能 、IT 能 力 、 兼 容 性 、 可 支持 
性 、 可 测 性 、 可 维护 性 、 可 移植 性 。 每 个 主要 质量 特性 进一步 细 分 为 具体 
的 质量 特性 ， 限 于 篇 幅 ， 图 3-12 只 展示 了 能 力 和 性 能 的 具体 质量 特性 。 


| 10 http://thetesteye.com/posters/TheTestEye_SoftwareQualityCharacteristics.pdf ° 


容量 
响应 度 完整 性 
mikte) 性 能 准确 性 
可 伸缩 性 = 可 交互 性 
IT 能 = = 
a nÆ È i 
兼容 性 可 靠 性 
可 支持 性 可 用 性 
可 测 性 魅力 
可 维护 性 ete 
可 移植 性 


图 3-12 软件 质量 特性 集 


在 使 用 该 质量 特性 列表 时 ， 测 试 人 员 需 要 根据 项 目 情况 对 其 进行 修订 。 可 
以 删 去 一 些 与 产品 无 关 的 质量 特性 ， 补 充 一 些 与 产品 相关 的 质量 特性 ， 从 


而 获得 一 份 针对 性 更 强 的 列表 。 利 用 定制 的 质量 特性 列表 ， 检 查 现 有 的 测 
斌 设计。 如 条 有 有 某 个 质量 特性 没有 被 仔细 测试 ， 束 需要 设计 靳 的 测试 策略 
来 覆盖 该 特性 。 从 这 个 角度 ， 质 量 特性 列表 是 一 种 测试 覆盖 率 检查 工具 ， 
它 帮 助 测 试 人 员 发 现 测试 设计 的 不 足 ， 并 提示 新 的 测试 策略 。 


3.2.10 ”操作 文档 


测试 是 一 项 技术 性 很 强 的 工作 ， 有 些 任 务 可 能 很 复杂 ， 对 于 新 人 尤其 困 
例如 ， 我 参与 过 一 个 项 目 ， 被 测 产品 是 一 个 由 多 个 网 络 服务 构成 的 系 
统 。 测 试 小 组 使 用 一 组 虚拟 机 模板 创建 虚拟 机 ， 在 虚拟 机 上 安装 & 不 同 的 服 
务 ， 然 后 将 多 个 虚拟 机 组 成 测试 环境 。 为 了 搭建 一 个 测试 环境 ， 测 试 人 员 
项: 知晓 使 用 哪些 模板 、 创 建 何 种 角色 的 虚拟 机 、 在 特定 角色 的 虚拟 机 上 
TEMS ` FEW a Dla LIST > BA ce CE al E 
等 信息 。 对 于 一 个 刚 加 入 项 目的 测试 人 员 而 言 ， 即 便 他 拥有 丰富 的 测试 经 
He, BOERE RE IR TOME = STL HEAP, & 
学 挫 。 


为 了 帮助 测试 人 员 完 成 任务 ， 测 试 小 组 可 以 编写 一 批 操 作文 档 。 每 个 文 
档 针 对 一 个 利 见 的 任务 ， 用 文字 描述 、 屏 幕 截 图 等 方式 记录 操作 步骤 ， 使 
得 测试 人 员 可 以 按照 指令 完成 任务 。 第 见 的 操作 文档 涉及 安装 被 测 产品 、 
配置 测试 环境 、 编 写 目 动 化 测试 、 使 用 测试 工具 等 。 测 试 小 组 无 需 为 所 有 
任务 编写 操作 文档 ， 只 需要 时 对 复杂 的 任务 撰写 文档 。 AMAZ: 这 批文 
档 将 成 为 项 目 知识 库 的 重要 部 分 ， 甚 至 程序 员 也 会 时 常 参考 。 


U Microsoft Developer Network (MSDN) 提供 了 许多 操作 文档 ， 例 如 Quick Start Guide for Manual 
Testing using Microsoft Test Manager (http://msdn.microsoft.com/en-us/library/vstudio/dd380763.aspx 
) o 


GEA ERA Ae, PIR RBA TTB SU REAN o FABRE rel eK AEA 
麦克 风 有 录制 一 个 10 分 钟 的 操作 演示 视频 ， 省 时 省 力 ， 其 传递 知识 的 效果 可 
能 胜 过 一 份 用 儿 十 分 钟 编写 的 文档 。 有 一 次 ， 我 与 一 个 异地 的 团队 进行 测 
斌 协作， 主要 任务 是 用 他 们 开发 的 工具 测试 我 的 产品 。 他 们 提供 的 是 一 个 
10 页 左右 的 PowerPoint 文 档 ， 概 述 了 任务 的 目标 和 内 容 。 文 档 末 页 链接 了 一 
个 视频 文件 。 该 视 步 eo 我 用 10 分 钟 便 看 完 
了 PowerPoint 文 档 和 视频 ， 之 后 承 能 运用 该 工具 进行 测试 。 可 见 ， 多 媒体 的 
操作 指南 使 得 信息 传递 更 加 高 效 。 


3.2.11 检查 列表 


在 完成 一 项 复杂 的 任务 时 ， 人 们 需要 分 析 并 处 理 多 个 细节 。 但 是 ， 人 脑 的 
记忆 力 并 不 可 靠 ， 在 时 间 压 力 下 ， 它 很 可 能 会 遗漏 一 些 重要 的 细节 ， 使 任 


务 面临 失败 的 风险 。 为 了 任务 完成 的 一 致 性 和 完整 性 ， 人 们 发 明了 检查 列 
表 ， 并 成 功 地 应 用 于 航空 、 医 疗 等 关键 领域 [WikipediaChecklist12]。 测 试 专 
家 Cem Kaner 具 有 法 学 学 位 ， 他 指出 律师 在 处 理 复杂 法 律 问题 时 会 使 用 检查 
列表 ， 而 软件 测试 人 员 也 应 该 用 检查 列表 来 指导 并 追 踩 测 试 工 作 
[Kaner08b] ° 


检查 列表 针对 一 项 复杂 任务 ， 由 一 组 工作 事项 组 成 ， 每 一 个 事项 提醒 工作 
者 检查 一 项 细节 或 完成 一 项 活动 。 这 些 工 作 事项 是 完成 该 任务 的 必要 条 
件 ， 需 要 工作 者 认真 对 待 。 有 时 ， 工 作者 会 根据 实际 情况 跳 过 一 些 工作 事 
项 ， 但 这 是 他 谨慎 考虑 后 的 结论 ， 不 是 因为 遗 扎 而 导致 的 玻 忽 。 


图 3-13 是 必 应 词典 的 安装 测试 的 检查 列表 。 安 装 测 试 要 检查 安装 程序 可 以 将 
必 应 词典 正确 地 安装 在 不 同 的 操作 系统 (Windows 7 ` Windows 8 ` Windows 
Server 2008 ` Windows Server 2012 等 ) 和 CPU 架构 (x86 和 x64) 上 。 除 了 检 
查 安 装 过 程 以 外 ， 测 试 人 员 还 需要 对 安装 后 的 程序 做 一 些 基本 测试 ， 以 发 
现 隐藏 的 安装 错误 。 图 3-13 的 检查 列表 针对 必 应 词典 的 主要 功能 ， 列 出 了 一 
些 基本 的 检查 点 。 它 不 追求 详尽 的 测试 〈 这 属于 功能 测试 的 范畴 ) ， 但 是 
禾 新 了 最 基本 的 功能 。 它 列举 了 工作 项 ， 但 没有 规定 详细 的 测试 用 例 ， 这 
让 测试 人 员 不 会 遗忘 重要 的 测试 ， 又 有 目 主 发 挥 的 空间 。 随 着 项 目的 发 

fe, 测试 人 员 可 以 调整 检查 列表 ， 删 除 低 风险 条 目 ， 加 入 新 发 现 的 高 风险 


RA 


有 些 检 查 列 表 也 可 以 视 作 测试 想法 列表 。 例 如 ，Michael Hunter 的 You Are 
Not Done Yet: Checklist 12 针对 不 同 测试 对 象 提出 了 一 组 很 好 的 检查 列表 ， 履 
竟 了 桌面 软件 的 许多 测试 任务 [Hunter10]。 这 组 检查 列表 不 针对 特定 的 软 
件 ， 而 是 提出 了 一 批 通用 的 测试 想法 ， 供 测试 人 员 做 因地制宜 地 修改 。 测 
试 人 员 在 完成 测试 设计 或 执行 之 后 ， 可 以 对 照 检 查 列表 来 发 现 已 有 测试 尚 
ARS EAN TT TAL, MOPS DUSTY WU Se re WU ES Eo 


12 hittp://www.thebraidytester.com/downloads/YouAreNotDoneYet.pdf ° 


PANES! ( Beta ) 中 必 应 词典 
查询 英文 词汇 


% 逢 载 必 应 词典 屏幕 取 记 


划 词 翻译 

更 换 必 应 词 左 的 皮肤 

必 应 生词 本 修改 “设置 ”中 的 参数 并 验证 修改 成 功 
中] 必 应 生词 本 

在 必 应 词典 中 将 中 英文 词汇 加 入 生词 本 
[在 必 应 生词 本 中 增加 词汇 

在 必 应 生词 本 中 删除 词汇 

PAVESI 导出 含有 中 英文 词汇 的 数据 文件 
导入 含有 中 英文 词汇 的 数据 文件 
必 应 背 单 词 

检查 更 新 使 用 内 去 词 才 ， 浏 览 单词 

使 用 生词 本 ， 浏 览 单词 

导出 词 表 

导入 词 表 

[检查 更 新 


图 3-13 ” 必 应 词典 安装 测试 的 检查 列表 


检查 列表 是 一 种 提示 物 ， 它 帮助 测试 人 员 在 面 对 复 杂 的 产品 时 不 会 遗漏 重 
要 的 工作 事项 。 构 建 检 查 列 表 的 过 程 就 是 学 习 软 件 并 建立 模型 的 过 程 ， 是 
一 种 有 价值 的 测试 学 习 和 测试 设计 活动 ， 其 成 果 是 有 结构 的 检查 点 或 测试 
想法 。 在 使 用 检查 列表 时 ， 测 试 人 员 在 检查 列表 (及 其 背后 的 测试 模型 ) 
的 指导 下 ， 积 极地 设计 并 执行 测试 ， 充 分 发 挥 自身 的 经 验 和 技能 。 可 见 ， 
检查 列表 让 测试 学 习 、 设 计 、 执 行 都 是 一 种 高 认 知 工作 [Kaner08b] 。 


3.2.12 ”缺陷 目录 


软件 缺陷 常常 体现 了 编程 语言 的 陷阱 、 计 算 平台 的 不 足 、 程 序 员 能 力 的 欠 
缺 、 领 域 模型 的 偏差 等 问题 。 收 集 并 整理 典型 缺 史 有 助 于 吸取 教训 、 对 证 
下 药 ， 是 一 项 有 价值 的 活动 。 为 此 ， 一 些 软件 测试 专家 整理 了 缺陷 目录 

(bug taxonomy) 供 测试 人 员 参 考 。 例 如 ，Cem Kaner 等 在 《计算 机 软件 测 
ist) (Testing Computer Software ) 的 附录 “常见 软件 错误 ”3 中 描述 了 12 类 
共 400 多 个 软件 缺陷 [Kaner99]。 之 后 ，Cem Kaner 与 Giri Vijayaraghavan 协 
作 ， 总 结 了 当时 已 有 的 缺陷 目 未 ， 并 讨论 了 如 何 更 好 地 使 用 缺陷 目录 
[Vijayaraghavan03] ° 


必 应 背 单词 


13 Cem Kaner 提 供 了 该 附录 的 全 文 下 载 : 
| http://www.testingeducation.org/BBST/testdesign/Kaner_Common_Software_Errors.pdf ° 


当 测试 人 员 获 得 一 份 缺陷 目录 后 ， 他 可 以 从 多 个 角度 利用 该 文档 。 


。 浏览 缺陷 目 孙 ， 标 注 出 产品 可 能 出 现 的 缺陷。 利用 这 些 缺 陷 ， 评 佑 现 
有 测试 设计 的 质量 。 如 采 有 某 个 缺陷 可 能 被 漏 测 ， 束 需要 设计 新 的 测 
试 来 检查 该 缺陷 。 此 时 ， 缺 陷 目 了 永 是 测试 覆 兰 评 佑 工具， 帮助 测试 人 
员 更 周密 地 测试 。 


人 
测试 。 


提炼 出 特定 领域 的 缺陷 (如 安全 性 缺陷 、 性 能 缺陷 等 ， 作 为 测试 指 
南 等 文档 的 附录 。 在 评审 和 使 用 文档 的 过 程 中 ， 这 些 “ 常 见 缺 陷 ” 能 激 
发 测试 灵感 ， 并 帮助 识别 典型 问题 。 


分 析 缺 陷 目 录 ， 找 出 可 能 发 生 的 缺陷 ， 然 后 与 程序 员 交 流 这 些 潜 在 的 
问题 。 一 方面 ， 程 序 员 可 以 帮助 他 理解 技术 细节 、 设 计 测 试 策略 。 另 
一 方面 ， 程 序 员 能 从 中 学 习 到 软件 或 平台 的 潜在 风险 ， 这 有 助 于 他 提 
前 准备 、 规 避 错 误 。 


在 测试 小 组 内 讨论 这 些 典 型 缺陷 ， 从 而 帮助 测试 小 组 建立 团队 测试 策 
略 ， 实 施 有 针对 性 的 测试 。 


有 时 ， 测 试 人 员 会 测试 一 些 狐 型 的 应 用 ， 在 该 领域 并 没有 相对 完整 的 缺陷 
目录 。 这 时 ， 他 可 以 自己 归纳 该 领域 的 典型 缺陷 。 即 便 所 获得 的 缺陷 列表 
篇 幅 不 长 ， 也 会 很 有 帮助 。 例 如 ， 测 斌 专家 Jonathan Kohl 所 总 结 的 移动 应 用 
七 宗 罪 (7 deadly sins of mobile apps) [Kohl12]， 就 概况 了 移动 应 用 的 典型 
问题 ， 对 于 测试 设计 很 有 局 发 性 。 


。 野心 ， 应 用 承诺 它 做 不 到 的 事情 。 


e RR: 应 用 使 用 了 太 多 的 资源 。 它 占 满 了 内 存 ， 拖 慢 了 设备 ， 耗 尽 了 
电量 ， 用 完了 数据 流量 。 


E aa 
9 情况 © 


。 懒惰 ， 应 用 反 义 迟 缓 ， 速 度 极 慢 。 
。 狂怒 ， 应 用 与 其 他 应 用 不 能 协作 。 


。 嫉妒 : MADARA ARE, SICH aT ° 
。 应 用 难以 使 用 ， 期 望 用 户 适 应 它 的 古怪 设计 ， 而 不 是 适应 用 


3.2.13 WEK 


为 了 有 效 地 管理 测试 ， 测 试 经 理 需 要 评估 测试 团队 的 生产 力 、 当 前 测试 的 
进度 、 测 试 覆 盖 的 范围 、 已 经 暴露 的 风险 、 测 试 人 员 是 否 需 要 帮助 等 因 
素 。 一 个 好 的 测试 流程 可 以 帮助 测试 经 理 和 测试 小 组 了 解 这 些 因 素 ， 并 实 
施 积 极 的 管理 。 为 了 满足 软件 开发 团队 对 可 管理 性 的 要 求 ，Jonathan Bach 
和 James Bach 提出 了 基于 测 程 的 测试 管理 (Session-Based Test 
Management， SBTM) [Bach00b] ° 


SBTM 将 测试 过 程 分 解 为 一 组 测 程 ， 从 而 提高 整个 测试 项 目的 可 说 明 性 。 为 
此 ， 一 个 测 程 包含 4 个 要 点 : 主题 、 时 间 盒 、 可 评审 的 结果 和 简报 
[Bach04a] ° 


1. 主题 
主题 是 一 个 测 程 需要 完成 的 任务 。 该 任务 拥有 具体 的 目标 ， 可 以 在 90 分 钟 
内 完成 ， 并 提供 有 价值 的 简报 。 主题 通 常用 一 段 简 练 的 文字 摘 述 ， 其 内 容 
可 以 是 测试 一 个 功能 、 检 查 一 个 风险 、 测 试 一 组 用 户 情 景 等 。 以 下 是 两 个 
实例 [Bolton07] ° 

。 为 产品 DecideRight 生 成 测试 覆盖 大 纲 和 风险 列表 。 

。 探索 产品 QuickBuild 如 何 产生 一 个 决策 : 用 户 向 导 功 能 应 该 帮助 用 户 使 

用 选项 、 标 准 和 权重 来 计算 最 佳 决 策 。 


图 3-14 是 测试 专家 Elisabeth Hendrickson 建 议 的 测 程 主题 模板 
[Hendrickson13]， 其 基本 结构 : “使 用 (资源 ) ， 探 索 FENZ) ， 以 求 
发 现 (信息 ) ”。 


。 eM AAR SHARAN LAR, CH AERLE ` WAZE > M 
试 技术 、 测 试 对 象 所 依赖 的 功能 的 等 。 


。 对 象 是 需要 调查 的 产品 元 素 ， 它 可 以 是 一 个 功能 、 一 个 模块 、 一 条 需 
求 、 一 个 用 户 情景 等 。 


。 信息 是 技术 调查 需要 获得 的 结果 ， 它 可 以 是 测试 模型 、 质 量 属性 、 湾 
在 风险 等 。 


使 用 (资源 ) 
探索 (FFT HK) 
VAR RIM È K 


图 3-14 测 程 主题 模板 

该 模版 不 是 编写 主题 的 “最 佳 实践 ">， 并 不 适合 所 有 的 测 程 。 但 是 作为 思考 
工具 ， 它 可 以 帮助 测试 人 员 思 考 测 程 的 使 命 ， 明 确 测试 的 对 象 、 手 段 和 目 
标 。 利 用 该 模板 ， 以 上 实例 可 以 重 写 为 : 


P eee OS eure ae 


。 利用 情景 测试 ， 探 索 产 品 QuickBuild 的 用 户 向 导 功 能 (包含 选项 、 标 
准 、 权 重 ) ， 以 检查 它 能 否 顺利 地 产生 决策 。 


主题 是 测 程 的 指南 针 。 好 的 主题 前 述 了 探索 的 对 象 、 要 达成 的 目标 、 可 利 
用 的 资源 ， 但 不 会 对 具体 行动 和 结 采 做 出 不 必要 的 约束 。 如 图 3-15 所 示 ， 从 
严格 的 脚本 测试 到 自由 式 探 索 的 渐变 谱系 之 中 ， 存 在 许多 测试 方法 ， 其 中 
主题 是 偏 自由 探索 的 测试 方法 [Bach10]。 在 它 的 左 侧 是 严格 脚本 化 的 测试 
( 即 严格 按照 详细 脚本 进行 测试 ) 、 概 况 的 脚本 ( 即 没有 详细 指定 所 有 步 
又 的 测试 脚本 ) 、 片 段 的 测试 用 例 〈 即 只 包含 测试 要 点 而 省 略 了 其 他 内 容 
的 测试 用 例 ) ， 在 它 的 左 侧 是 角色 ( 即 测试 人 员 将 自己 扮演 为 某 类 用 户 ) 
和 自由 式 探索 (无需 预先 准备 的 测试 。 可 见 ， 主 题 的 特征 是 它 指定 了 测 
试 策略 ， 而 具体 的 测试 战术 则 留 给 测试 人 员 在 测 程 中 选择 。 


严格 脚本 化 的 测试 片段 的 测试 用 例 E 题 自由 式 探索 
概况 的 脚本 | 角色 


图 3-15 主题 是 偏向 自由 探索 的 测试 方法 
2. NE 


时 间 盒 是 一 段 不 受 打 扰 的 测试 时 间 ， 其 长 度 一 般 在 60~120 分 钟 ， 以 90 分 钟 
较为 币 见 。 在 此 期 间 ， 测 试 人 员 不 回答 问题 ， 不 回复 邮件 ， 不 应 答 即 时 消 
县 ， 只 专注 地 实施 测试 。 从 工程 师 的 角度 来 看 ， 时 间 盒 使 测试 人 员 排 除 干 
扰 ， 全 力 应 对 测试 的 智力 挑 成 。 从 测试 团队 的 角度 来 看 ， 固 定 且 专属 的 时 
间 盒 使 得 测试 规划 和 进度 追 踩 变 得 更 容易 。 


i E E AAT 


。 主题 

。 测试 人 员 

。 测 试 所 覆盖 的 区 域 

。 测 试 设计 和 测试 发 现 
。 测试 所 发 现 的 缺陷 
测试 所 发 现 的 问题 

。 测试 所 使 用 的 数据 文件 


测试 活动 的 时 间 统 计 : 在 产品 安装 、 测 试 设计 与 执行 、 缺 陷 调 查 与 报 
告 、 非 测试 活动 中 各 花费 了 多 少时 间 


3. 简报 
简报 通过 面对面 的 交流 将 测试 情况 传递 给 测试 经 理 。 在 一 天 的 测 程 结束 


后 ， 测 试 人 员 同 测试 经 理 当 面 汇报 测试 情况 。 经 理 查 看 测 程 表 ， 提 出 一 些 
问题 ， 测 试 人 员 解 释 测试 结 有 末 ， 并 回答 疑问 。 经理 也 可 以 召开 小 组 会 议 ， 


让 测试 人 员 轮 流 报告 当天 的 测试 结 采 ， 使 测试 小 组 对 当前 产品 的 质量 形成 
较 完 整 的 认识 。 


传统 上 ， 测 程 表 是 一 个 文本 文件 ， 拥 有 固定 的 格式 。 这 样 ， 测 试 经 理 可 以 
用 一 个 文本 处 理 程序 从 多 个 测 程 表 中 提取 信息 ， 形 成 聚合 的 测试 总 结 报 

告 。 测 试 人 员 也 可 以 用 程序 读 取 测 程 表 ， 将 其 中 的 缺陷 记录 目 动 提交 到 缺 
陷 管 理 系统 。 表 3-5 记 录 了 一 个 测 程 表 的 实例 [Bach00b] 和 相关 解释 。 


表 3-5 测 程 表 实例 


: 分 析 产 品 
I 视图 菜单 | 测 程 的 主题 定义 了 一 个 可 以 在 时 间 盒 内 完成 的 任 
报告 该 | 供 有 价值 的 质量 信息 


险 


区 域 : 
OS | Windows 2000 | 
Menu | View 区 域 描述 了 测试 范围 。 本 案例 通过 列举 操作 系统 (Windows 


Strategy | Function 2000) 、 被 测试 的 菜单 (View) 、 被 测试 的 功能 (Function 
Testing Testing 和 Functional Analysis) 说 明了 测试 覆盖 的 内 容 
Strategy | Functional 

Analysis 


开始 时 间 : 
2000/11/11, 09:30 
AM 


测试 人 员 : Jonthanc 
Bach 


1 NE 测 程 记录 了 一 些 任务 分 解数 据 ， 如 在 测试 设计 和 执行、 缺陷 
[汇报 备 等 活动 上 人 花费 的 时 间 。 这 些 数据 配合 简报 
调 和 报 J FM 测试 速度 、 评 十 测试 效率 
= 谓 “ 测试 人 员 在 测 程 中 测试 了 主题 以 外 的 功能 。 在 
准备 | ,主题 Vs, 机 会 ?是 10010 这 表示 测试 人 员 完 全 专注 了 
i， 没 有 测试 其 他 功能 


# 主 题 vs. 机 会 
100/0 


o 测 程 表 列举 了 测试 所 使 用 的 数据 文件 ， 为 测试 数据 复 用 提供 了 基 
uncTest.mm 础 


FuncAnalysis.mm 


测 程 表 的 核心 是 测试 笔记 ， 它 简略 地 叙述 了 测试 故事 : 为 什么 测 
试 ， 如 何 测 试 ， 为 什么 认为 测试 是 足够 好 的 。 本 案例 介绍 了 测试 
策略 ， 并 通过 功能 列表 记录 了 测试 履 盖 的 范围 


° To 
o 以 前 的 视图 


测 程 表 记 录 了 风险 、 缺 陷 和 问题 ， 它 们 不 但 是 测 程 的 直接 产 出 ， 
还 是 规划 未 来 测试 的 参考 资料 


。 在 将 定 的 缩放 级 别 
由， 产品 的 某 些 功能 


HFE 


测 程 表 拥 有 固定 的 格式 ， 该 3 理 程 
序 可 9 数据。 测试 Pata RAH ; 以 产生 
i EK ° fay FL FS) SCAR Ach SS A JEA 量 
产生 测试 报 到 表 ， 并 完成 自动 化 任务 《如 提交 缺 


| 缺陷 管理 系统 


Bug (RRA) 
ETAT a th ERR 
低 时 ， 功 能 不 稳定 。 
该 缺陷 还 在 调查 中 


问题 ， 
# 问 题 1 

os UEN 
RAMEN AA | 疑惑 是 一 种 测试 工具 [Kaner01]。 测 斌 人 员 可 以 用 自己 
测试 的 方向 ， 设 计 更 多 的 测试 用 例 来 探索 这 些 问 题 


定位 器 地 区 


应 该 如 何 与 其 交互 ? 


测 程 表 的 本 质 是 测试 报告 ， 向 团队 提供 有 关 产 品 和 测试 的 信息 。 分 析 表 3-4 
不 难得 出 测试 报告 的 基本 需求 。 


。 测试 报告 的 主要 目的 十 为 读者 提供 所 需 的 信息 。 例 如 ， 测 程 表 的 读者 
古 测试 经 理 或 测试 同伴 ， 因 此 它 的 内 容 比 较 技术 化 ， 妾 党 报告 产品 和 


测试 的 细 市 以 插 述 测试 过 程 和 结果。 
。 报告 测试 执行 者 ， 以 明确 测试 和 报告 的 责任 。 
。 报告 测试 活动 的 主题 ， 以 明确 测试 的 目标 和 任务 。 


。 报 告 测试 的 情况 ， 包 括 测 试 对 象 、 测 试 范围 、 测 试 策略 、 测 试 技术 、 
测试 数据 等 。 这 有 助 于 报告 读者 评估 测试 的 深度 、 广 度 和 质量 。 
” 报 瑟 测试 所 发 现 的 缺陷 ， 并 冰 述 哪 旦 功能 表现 稳定 ， 哪 旦 功能 跨 隐 较 


27 
。 报告 测试 所 发 现 的 风险 ， 为 项 目 级 别 的 风险 管理 提供 支持 。 


。 根据 测 试 情况 ， 提 出 需要 投入 更 多 测试 资源 的 领域 ， 包 括 值得 进一步 
调查 的 问题 、 值 得 深入 测试 的 区 域 、 值 得 笑 试 的 新 测试 策略 等 。 


。 提供 有 关 测 试 过 程 的 信息 ， 为 过 程 改 进 提供 文 持 。 


近年 来 ， 出 现 了 更 多 的 SBTM 文 持 工 具 [Carvalho11]， 能 够 文 持 多 媒体 格式 
的 测 程 表 。 例 如 ，RapidReporterl4 可 以 方便 地 生成 CSV 和 HTML 格 式 的 测 程 
nn 
并 o 


14 http://testing.gershon.info/reporter/ ° 


通过 聚合 测 程 表 收集 的 数据 ， 测 试 经 理 可 以 评估 团队 的 测试 速度 。 图 3-16 显 
示 了 已 执行 测 程 的 总 时 间 随 日 期 的 变化 趋势 ， 这 有 助 于 测试 经 理 评估 在 项 
目 结束 前 还 可 以 执行 多 少 测 程 [Bach04a]。 如 果 余 下 的 测试 时 间 不 足以 完成 
测试 使 命 ， 他 需要 采取 措施 ， 以 避免 项 目 失败 。 
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图 3-16 已 执行 测 程 的 总 时 间 随 日 期 的 变化 趋势 


SBTM 的 本 质 是 动态 管理 。 在 项 目 之 初 ， 测 试 小 组 对 产品 还 不 够 了 解 ， 测 试 
经 理 可 以 安排 一 些 “ 侦 碍 型 > 的 测 程 去 学 习 产 品 的 各 个 区 域 。 例 如 ， 上 文 提 
到 的 “为 产品 DecideRight 生 成 测试 覆盖 大 纲 和 风险 列表 ” 束 侦 碍 了 产品 的 主 
要 功能 和 风险 。 基 于 这 些 测 程 的 测 程 表 和 简报 ， 测 试 领导 可 以 拟定 测试 项 
目的 总 体 计划 ， 并 大 致 规划 出 测 程 的 数目 与 主题 。 


在 项 目 过 程 中 ， 好 的 测试 经 理会 通过 测 程 表 和 每 日 简报 ， 积 极 发 现 产 品 或 
测试 的 问题 ， 提 出 有 针对 性 的 解决 方案 。 例如， 测试 经 理 老 王 通 过 阅读 测 
程 表 ， 发 现 测试 人 员 小 张 常 利 花 费 过 多 的 时 间 在 缺陷 调查 上 。 他 与 小 张 面 
谈 以 了 解 具体 情况 。 面 对 面 的 交流 使 信息 得 到 高 效 的 传递 ， 并 有 助 于 消除 
统计 数据 的 误导 和 书面 文字 的 歧义 。 如 采 小 张 喜 欢 打破 砂锅 、 妃 根 究 克 ， 

老 王 会 告诉 他 : 在 调查 缺陷 时 ， 可 以 设 定 一 个 最 长 用 时 (如 10 分 钟 ，， 当 
时 间 用 尽 时 ， 应 该 停止 调查 ， 根 据 已 知情 况 提 交 缺 陷 报 告 。 此 外 ， 他 还 会 
安排 一 些 有 技术 挑战 的 任务 给 小 张 ， 以 帮助 他 增进 技术 水 平 。 如 果 小 张 因 
不 了 解 产 品 而 伦 费 了 过 多 的 调查 时 间 ， 老 王 会 安排 有 经 验 的 员工 指导 小 

张 ， 或 杀 目 传授 一 些 知识 和 技能 ， 以 帮助 他 渡 过 难关 。 如 采 是 糟 料 的 可 测 
试 性 导致 了 过 长 的 调查 时 间 ， 老 王 会 和 编程 小 组 联系 ， 提 出 改进 意见 ， 以 
推动 产品 可 测 性 的 提高 。 


随 着 产品 和 项 目 环境 的 变化 ， 测 试 内 容 与 策略 也 要 作 相 应 的 调整 。 测 试 经 
理会 根据 测 程 的 结果 来 调整 下 一 步 的 测试 计划 。 他 可 以 新 增 几 个 测 程 ， 以 
调查 最 新 发 现 的 风险 ; 他 也 可 以 合并 几 个 测 程 ， 将 省 下 的 时 间 分 配给 更 重 
要 的 测 程 。 这 些 决 策 的 事实 基础 加 是 测 程 表 和 简报 。 


3.2.14 ”移交 文档 


当 测 试 人 员 离 开 当 前 项 目 时 ， 他 可 以 考虑 撰写 移交 文档 ， 帮 助 授 手 其 工作 
的 同事 尽快 上 手 。 移 交 文 档 的 价值 在 于 作为 领域 专家 的 测试 人 员 系 统 性 地 
写 出 专家 知识 和 经 答 。 与 测试 设计 规约 等 文档 侧重 于 “前 瞻 ” 不 同 ， 移 交 文 
档 更 侧重 “回顾 ”与 “总 结 ”。 它 包含 如 下 内 容 。 


。 被 测 对 象 概述 : 解释 被 测 对 象 在 产品 中 的 作用 与 地 位 。 


。 文档 链接 ， 指 向 需求 说 明 、 设 计 文档 、 测 试 设计 规约 等 文档 的 链接 ， 
为 进一步 学 习 提 供 素 材 。 


。 基本 测试 想法 : 列举 10 条 最 重要 的 测试 想法 。 当 测试 设计 规约 已 经 详 
细 记 录 测 试 设计 ， 移 区 文档 的 作用 是 提供 一 个 入 门 的 台阶 ， 所 记录 的 
测试 想法 保证 了 基本 的 测试 宪 盖 ， 同 时 让 继任 者 可 以 立即 开始 测试 。 


经 验 与 技巧 : 阐述 测试 人 员 在 测试 实战 中 积累 的 经 验 与 技巧 ， 包 括 好 
用 的 工具 、 示 公开 的 设置 、 快 速 的 调试 手段 等 。 这 些 技巧 是 领域 知识 
的 具体 表现 ， 能 够 快速 提高 继任 着 的 工作 效率 。 


已 知 局 限 ， 介 绍 被 测试 对 象 的 局 限 和 缺陷 。 软 件 不 会 是 完美 的 ， 总 存 
在 一 些 不 足 和 不 予 修复 的 缺陷 。 了 解 被 测 对 象 的 问题 ， 能 够 更 全 面 地 
理解 领域 ， 并 减少 疑惑 。 

。 测 试 自动 化 ， 介 绍 可 用 的 自动 化 工具 和 测试 用 例 。 

。 测 试 数据 ， 介 绍 可 用 的 测试 数据 文件 、 测 试 数据 库 等 。 
移交 文档 无 需 长 篇 大 论 ， 只 要 指出 重点 即 可 ， 详 细 内 容 可 以 用 链接 指向 相 
关 文档 、 共 享 数据 、 测 试 数据 库 、 缺 陷 管理 系统 等 信息 源 。 移 交 文档 不 是 
新 员工 入 职 手册 ， 无 需 介绍 众 所 皆 知 的 测试 知识 ， 它 应 该 聚焦 于 被 测 对 象 
的 领域 和 特点 ， 介 绍 现 有 的 测试 知识 、 经 验 和 资产 ， 为 接手 的 同事 成 为 新 
的 领域 专家 提供 热 脚 石 。 
3.3 在 测试 中 发 展 测试 文档 
3.2 节 介绍 了 一 批 不 同形 式 的 测试 文档 。 在 实际 工作 中 ， 测 试 人 员 不 需要 押 
写 所 有 这 些 文档 ， 也 不 需要 在 项 目 之 初 完成 所 有 的 文档 工作 。 本 节 将 介绍 
如 何在 测试 过 程 中 发 展 测试 文档 。 


3.3.1 初始 测试 文档 


在 项 目 之 初 ， 测 试 人 员 可 以 参考 3.2.1 节 的 介绍 来 编写 一 份 测试 计划 草稿 ， 


主要 确定 以 下 内 容 。 


。 任务 : 
。 策略 : 
。 保障 : 
。 产品 : 


测试 人 员 完 成 什么 工作 。 
用 什么 方法 去 完成 工作 。 
何 时 用 何 种 资源 完成 工作 。 
测试 工作 产 出 哪些 工作 制品 。 


这 份 草 稿 的 篇 幅 可 以 很 短 (1~2 页 ) ， 其 作用 是 为 测试 的 技术 任务 提供 框架 
(策略 与 保障 ) ， 为 测试 组 织 与 协作 提供 基础 (任务 和 产品 ) 。 有 了 这 份 
齐 稿 ， 测 试 人 员 可 以 与 其 他 项 目 成 员 协 作 ， 共 同 发 展 测试 计划 。 和 草稿 的 好 
处 在 于 ， 它 提供 了 讨论 的 基础 ， 其 未 定型 的 状态 又 茅 励 讨 论 者 提出 更 多 的 


想法 。 


。 与 测试 经 理 讨论 测试 计划 ， 明 确 测试 任务 的 优先 级 、 测 试 进度 的 安 
排 、 工 作 制品 的 质量 要 求 。 


。 与 程序 员 讨论 测试 计划 ， 请 程序 员 从 实现 的 角度 提出 测试 想法 ， 并 评 


论 现 有 的 测试 策略 。 程 序 员 能 提出 一 些 测试 人 员 不 易 想到 的 测试 要 
， 这 对 于 改进 测试 策略 很 有 帮助 。 


IANN 


。 邀请 儿 个 熟悉 的 同事 ， 组 织 一 个 小 型 的 头脑 风暴 会 议 ， 以 产生 更 多 的 
测试 想法 。 参 与 者 不 需要 很 多 ， 只 要 彼此 信任 ， 能 够 畅所欲言 ， 就 可 
以 在 30 分 钟 的 会 议 中 产生 许多 很 好 的 想法 。 参 与 者 的 不 同 背 景 和 不 同 
视角 可 以 增加 测试 想法 的 多 样 性 。 


除了 与 他 人 人 协作， 测试 人 员 还 可 以 做 一 些 “ 功 课 ”"”， 以 发 展 测试 设计 。 


© 对 新 开发 的 功能 做 一 些 基 本 的 测试 。 如 果 待 开发 功能 还 没有 实现 ， 可 
以 对 相关 功能 做 一 些 测 试 。 例 如 ， 新 功能 是 在 PowerPoint 的 图 片 处 理 中 
增加 几 种 “图 片 效 果 ”， 测 试 人 员 可 以 对 图 片 和 周边 功能 做 一 些 测试 。 
测试 的 目的 是 了 解 新 功能 的 内 容 、 它 的 运行 环境 、 与 它 配 合 的 其 他 功 
能 等 ， 从 而 建立 整体 认识 。 测 试 产 出 可 以 是 一 份 功能 列表 ， 它 分 析 了 
新 功能 的 具体 能 力 ， 并 标记 了 潜在 风险 。 


从 团队 内 部 和 互联 网 上 收集 测试 资料 ， 例 如 测试 指南 、 测 试想 法 列 


表 、 质 量 特性 列表 、 检 查 列表 、 和 缺陷 目 永 等。 对 收集 到 的 素材 进行 裁 
剪 、 补 充 、 调 整 ， 使 它们 符合 项 目 语 境 。 该 素材 整理 的 过 程 也 是 学 习 


被 测 产 品 和 项 目 环境 的 过 程 ， 能 够 帮助 测试 人 员 更 次 入 地 思考 产品 和 


测试 任务 。 


© 积极 研 究 规格 说 明文 档 ， 并 与 产品 经 理 交 流 ， 以 理解 产品 要 解决 的 问 
题 和 产品 如 何 解决 问题 。 此 外 ， 还 会 探究 隐 式 规格 说 明 ， 从 而 获得 更 
全 面 的 理解 。 常 见 的 隐 式 规格 说 明 包 括 苋 争 对 手 的 产品 、 产 品 家 族 的 
其 他 产品 、 产 品 的 已 发 布 版 本 、 电 子 邮 件 、 会 议 记 录 、 采 访 记 录 、 用 
户 反 馈 、 第 三 方 评 论 、 技 术 标准 、 法 律 法 规 、 领 域 专著 等 。 


以 上 交流 和 研究 并 不 局 限于 项 目 早 期 。 测 试 人 员 可 以 在 项 目 全 过 程 持续 地 
交流 ， 逐 渐 地 展开 研究。 在 工作 中 ， 我 会 用 笔记 软件 记录 这 些 讨论 与 研究 
的 成 果 。 图 3-17 是 我 用 OneNote” 收集 整理 的 工作 资料 。 


| 15 http://office.microsoft.com/en-us/onenote/ ° 
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each country. 
Here is a link to a video showing all of the steps required: 


Power View in Excel 2103 Olympics Data - Day 1 
Thanks for following along with this first post. While there is a lot more functionality available in 
the map, much of it we will likely cover in future posts, | thought it would be fun to start with a 
simple exercise for the first post to show you how easy it can be to build a map in Excel 2013 
with Power View. 


图 3-17 ”用 OneNote 组 织 资料 


Visualizing the Olympics with Power View in Excel - OneNote 
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And with that, we have created our first map for the Olympics. While you are here you can 
zoom in and pan around on the map as well as hover over the data points to see the values for 
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。 将 相同 主题 的 资料 放 在 一 个 分 区 中 ， 以 实现 信息 分 类 。 例 如 ， 图 3-17 中 
OneNote 的 当前 分 区 是 Office， 它 记录 了 Microsoft Office 相 关 的 技术 资 
料 。 我 还 创建 了 Note、TestPass、Bug 等 分 区 ， 以 组 织 相 应 类 别 的 信 
FA o 


。 利 用 页 的 父子 关系 表示 资料 之 间 的 逻辑 关系 ， 使 得 资料 组 织 直观 明 
了 。 例 如 图 3-17 右 侧 所 示 的 页 标签 ， 它 通过 层次 结构 进一步 对 信息 分 
类 ， 便 于 快速 找到 PowerPoint、Excel、Word 等 具体 类 别 的 信息 。 


。 页 可 以 容纳 文档 、 图 片 、 链 接 、 文 字 和 图 表 等 多 种 元 素 ， 能 够 将 相关 
主题 的 内 容 一 网 打 尽 。 


。 OneNote 提 供 了 全 文 搜索 功能 ， 让 资料 检索 简单 且 快 速 。 


。 笔记 软件 是 一 个 "容器 "， 容 纳 了 来 自 方方面面 的 信息 。 在 某 种 程度 
上 ， 它 提供 了 一 个 工作 空间 ， 便 于 高 效 地 研究 多 种 资料 ， 从 而 更 好 地 
理解 产品 ， 更 快 地 设计 测试 。 


当 测试 想法 相对 完备 后 ， 测 试 人 员 可 以 更 痢 测 试 计划 草稿 ， 以 发 布 可 供 评 
审 的 测试 计划 初稿 。 之 后 ， 他 邀请 测试 小 组 、 程 序 员 、 产 品 经 理 等 评审 测 
试 计划 ， 并 根据 反馈 意见 做 出 修改 。 评 审 的 一 个 重要 成 果 是 项 目 团 队 对 测 
人 ` 策略 、 保 障 和 产品 达成 一 致意 见 ， 使 得 测试 过 程 可 以 较 顺 利 地 


3.3.2 ”发 展 测试 文档 


测试 计划 通过 评审 之 后 ， 测 试 人 员 需 要 在 测试 中 持续 发 展 测试 文档 。 如 
3.1.2 节 所 讨论 的 ， 测 试 人 员 可 以 在 测试 设计 、 测 试 执行 、 测 试 评估 、 测 试 
学 习 等 各 个 阶段 发 展 测试 文档 。 测 试 是 迭代 过 程 ， 大 的 循环 周期 是 测试 人 
员 测 试 每 一 份 构建 ， 小 的 循环 周期 是 测试 人 员 用 上 一 步 测试 的 结果 驱动 下 
一 步 测 试 的 方向 。 在 侈 代 中 ， 测 试 文档 为 新 的 测试 设计 提供 灵感 ， 又 记录 
了 新 的 测试 想法 和 测试 发 现 。 


CemKaner 等 建议 测试 人 员 在 测试 执行 时 ， 手 边 要 放 一 个 笔记 本 ， 随 时 记录 
新 的 测 斌 想法。 他们 甚至 在 硬件 资源 相对 紧张 的 1999 年 便 提议 : 更 好 的 做 
法 是 ， 在 一 台 计 算 机 上 测试 ， 在 男 一 台 计 算 机 上 更 新 测试 计划 [Kaner99]。 
我 的 切身 感受 是 ， 测 试 计算 机 最 好 能 连接 两 块 大 屏幕 显示 器 ， 在 一 台 显 示 
器 上 测试 产品 ， 在 另 一 台 显 示 器 上 使 用 笔记 软件 来 发 展 测试 文档 (10.1.3 节 
也 讨论 了 多 显示 器 的 优点 ) 。 如 图 3-18 所 示 ， 左 侧 的 屏幕 有 笔记 软件 
OneNote 和 思维 导 图 软件 FreeMind16 ，OneNote 记 录 了 测试 笔记 (包括 测试 
想法 和 观察 结果 ) ，FreeMind 展 示 了 质量 特性 大 纲 ， 被 测 软 件 “ 必 应 词典 * 和 


测试 工具 (Process Explorer!” 和 Fiddler218 ) 在 右 侧 的 屏幕 ， 它 们 完成 测试 
执行 与 监控 。 


| 16 http://freemind.sourceforge.net/wiki/index.php/Main_Page ° 


| 17 http://technet.microsoft.com/en-us/sysinternals/default ° 


| 18 hitp://www.fiddler2.com/fiddler2/ ° 


在 测试 执行 时 ， 可 以 随时 查看 测试 笔记 和 相关 测试 文档 ， 用 文档 中 的 
测试 想法 去 设计 具体 的 测试 用 例 。 此 外 ， 我 会 时 刻 质 疑 文档 的 完整 
性 ， 检 查 既 有 测试 想法 的 不 足 ， 以 激发 出 更 多 的 测试 思路 。 


将 测试 执行 发 现 的 新 信息 记 入 测试 笔记 。 主 流 的 笔记 软件 支持 快速 地 
录入 、 截 屏 、 格 式 化 、 标 记 ， 人 允许 立即 记录 测试 发 现 ， 且 没有 额外 的 
人 负担 。 例 如 ，OneNote 文 持 快 速 排 版 ， 用 键盘 快捷 键 生成 符号 列表 、 数 
字 列 表 、 表 格 和 标签 ， 它 还 文 持 快捷 键 Win+S 将 屏幕 截图 插入 当前 笔记 
页 面 ， 从 而 便捷 地 产生 图 文 并 成 的 测试 笔记 。 


由 于 测试 笔记 记录 了 即兴 的 想法 、 发 现 的 问题 、 产 生 的 疑惑 、 捕 获 的 
细 市 ， 因 此 不 必 人 花 精力 记 住 测试 过 程 的 点 扩 滴 滴 。 这 有 利于 专注 于 测 
试 ， 目 由 目 在 地 思考 与 行动 。 


在 测试 过 程 中 ， 修 改 功能 列表 、 思 维 寻 图 、 数 据 矩 阵 等 测试 资料 ， 使 
它们 反映 新 的 知识 和 测试 设计 。 建 议 用 多 种 形式 的 文档 记录 测试 设计 
和 测试 发 现 。 测 试 语 境 复杂 多 变 ， 应 该 选择 合适 的 记录 方式 ， 而 不 是 
局 限于 某 种 特定 的 方法 。 我 将 测试 笔记 作为 核心 文档 ， 用 它 链 接 其 他 
资料 ， 构 成 集中 组 织 的 测试 文档 集 。 


经 过 测试 执行 的 补充 ， 测 试 笔记 所 包含 的 测试 设计 会 更 加 全 面 和 深 
入 ， 所 记录 的 技术 细 市 会 让 测试 执行 更 有 针对 性 。 几 周 之 后 ， 当 我 再 
次 测试 相同 的 功能 时 ， 我 能 够 快速 上 手 ， 而 不 必 和 否 冰 回忆。 


测试 笔记 是 测试 报告 和 测试 评审 的 原始 厅 材 。 对 其 内 容 稍 作 整 理 ， 整 
可 以 形成 测试 总 结 报告 ， 让 项 目 团 队 了 解 测试 的 进展 。 此 外 ， 将 报告 
发 送 给 程序 员 、 产 品 经 理 和 测试 伙伴 ， 请 他 们 评审 测试 设计 ， 能 够 获 
得 更 多 的 测试 想法 。 


对 于 在 何 处 增加 测试 设计 的 深度 ，Cem Kaner 等 提出 了 6 个 区 域 ， 值 得 测试 
人 员 参 考 [Kaner99]。 


最 可 能 发 生 错误 的 区 域 。 如 果 测 试 人 员 知 道 哪些 区 域 可 能 存在 大 量 缺 
i i a 
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错误 最 明显 的 区 域 。 从 用 户 的 角度 看 竺 产品， 尝试 去 发 现 那些 用 户 最 
容易 发 现 的 错误 。 这 让 测试 人 员 专 注 于 对 用 户 最 重要 的 情景 和 功能 。 


ee 


最 有 差别 的 程序 区 域 。 产 品 想 要 启 得 用 户 需 要 提供 独一无二 的 特性 ， 
这 些 特性 被 称 为 软件 的 “卖点 ”。 测 试 人 员 需 要 仔细 测试 这 些 区 域 ， 因 
为 在 卖点 上 失败 将 导致 竞争 失利 。 


最 难 修正 的 区 域 。 许 多 软件 缺陷 没有 被 修正 是 因为 没有 时 间 完 成 高 难 
度 的 修复 应 该 尽早 测试 玲 以 修正 的 区 诚 ， 以 便 程序 员 有 更 多 的 时 间 
ATIT 


测试 人 员 最 理解 的 区 域 。 通 过 测试 一 个 熟悉 的 区 域 和 它 的 周边 区 域 ， 
测试 人 员 能 够 快速 地 测 完 一 个 局 部 ， 并 更 好 地 理解 产品 。 这 有 助 于 他 
更 有 效 地 进入 下 一 个 区 域 。 


总 而 言 之 ， 测 试 人 员 应 该 在 测试 中 逐步 发 展 测 斌 文档。 首先 编写 一 个 测试 


HR, 


明确 任务 、 策 略 、 保 障 和 产品 ， 并 建立 起 测试 设计 的 框架 。 然 后， 


通过 测试 欠 代 增加 测试 设计 的 广度 和 深度 ， 将 重要 的 设计 成 果 和 测试 发 现 
纳入 测试 文档 集 。 


3.4 


小 结 


本 章 讨论 测试 文档 的 编写 与 维护 策略 ， 并 介绍 了 一 批 具 体 的 测试 文档 。 
。 测 试 文档 是 项 目 团 队 或 测试 人 员 实 施 测试 的 工具 。 


。 测试 文档 的 根本 价值 在 于 帮助 测试 人 员 更 有 效 地 测试 。 偶 离 此 价值 的 
文档 过 程 将 浪费 资源 、 和 危害 项 目 。 


。 在 复杂 的 软件 开发 中 ,“ 测 试 文档 ?并 不 是 一 份 文档 ， 而 是 一 组 文档 。 
测试 人 员 要 根据 项 目 语 境 ， 决 定 测试 文档 的 类 型 、 内 容 和 形式 。 
。 测 试 文档 要 为 读者 服务 。 在 许多 情况 下 ， 测 试 文档 最 重要 的 读者 十 测 
斌 人员 目 己 。 
。 用 核心 文档 组 织 测 斌 素材， 构成 测试 文档 集 ， 让 多 份 文档 相互 文 持 、 
彼此 参考 
。 首先 建立 测试 设计 的 框架 ， 然 后 在 测试 学 习 、 测 斌 设计、 测试 执行 、 
测试 评估 的 人 移 代 中 ， 注 重 实效 地 发 展 测试 文档 。 


。 了 解 不 同形 式 的 测试 文档 ， 收 集 不 同 内 容 的 测试 资料 ， 有 助 于 全 面 思 
考 、 有 灵活 应 用 。 


第 4 章 测试 建 模 


所 谓 测 试 建 模 ， 就 是 以 测试 为 目的 建立 产品 模型 。 建 模 对 象 可 以 是 系统 、 
组 件 、 功 能 等 不 同 粒度 的 被 测 目标 ， 建 模 的 结果 是 一 个 指导 测试 设计 的 模 
ee ee 些 与 测试 无 关 的 信息 ， 强 调 了 值得 测 
试 注 aA z 


实际 上 ， 所 有 的 测试 都 基于 模型 。 正 如 第 1 章 所 论述 的 ， 软 件 包含 业 务 、 设 
计 、 拉 术 等 多 方面 的 细 玉 ， 其 复杂 度 已 经 超越 了 人 的 理解 能 力 。 为 了 实施 
二 质量 信息 的 技术 调查 ， 测 试 人 员 必 需 使 用 一 组 简化 的 模型 来 分 析 产 品 和 
设计 测试 。 即 便 测 试 人 员 没有 特意 去 建立 模型 ， 他 的 测试 活动 也 是 基于 他 
对 产品 的 抽象 认 知 ， 即 一 些 隐 式 模型 。 如 果 他 有 意识 地 分 析 产 品 和 业务 ， 

形成 针对 产品 的 测试 模型 ， 避 ® 可 以 更 高 效 地 测试 。 本 章 将 介绍 一 些 基 本 的 
测试 模型 和 建 模 方法 ， 为 测试 人 员 创 建 针 对 产品 的 模型 提供 基础 。 


>q 


4.1 从 组 合 测试 看 建 模 的 重要 性 


本 节 首 先 介绍 组 合 测试 的 基本 概念 和 方法 ， 然 后 讨论 如 何 根据 项 目 语 境 来 
完善 组 合 测试 的 测试 模型 ， 从 而 说 明 测 试 建 模 的 重要 性 。 


4.1.1 组 合 测 试 简 介 


组 合 测试 (combinatorial testing) 是 一 种 测试 用 例 生 成 方法 。 测 试 人 员 将 被 
测试 对 象 抽 象 为 一 个 受到 多 个 变量 影响 的 系统 ， 其 中 每 个 变量 的 取 值 是 离 
散 且 有 限 的 。 然 后 ， 他 使 用 组 合 测 试 工 具 ! 生成 满足 特定 组 合 覆 盖 标 准 的 组 
合 测试 用 例 集 (本 市 简称 “测试 集 ”) 


1 http://www.pairwise.org/tools.asp 列举 30 余 种 组 合 测试 工具 。 


。 两 因素 组 合 测试 (pairwise combinatorial testing， 也 称 配 对 测试 、 全 对 
偶 测 试 ) 生成 的 测试 集 可 以 履 盖 任意 两 个 变量 的 所 有 取 值 组 合 。 在 理 
论 上 ， 该 用 例 集 可 以 又 露 所 有 由 两 个 变量 共同 作用 而 引发 的 缺陷 。 


。 多 因素 组 合 测试 (n-way combinatorial testing, n>2) 生成 的 测试 集 可 以 
履 盖 任意 n 个 变量 的 所 有 取 值 组 合 。 在 理论 上 ， 该 用 例 集 可 以 发 现 所 有 
由 n 个 因素 共同 作用 引发 的 缺陷 。 


在 理想 情 帝 下 ， 测 斌 人员 应 该 测试 所 有 变量 的 全 部 取 值 组 合 ， 即 使 用 全 组 
合 测试 集 。 但 是 ， 该 测试 集 可 能 非常 庞大 ， 会 超出 测试 的 可 用 货源 。 为 了 
按时 完成 测试 ， 测 试 人 员 党 用 组 合 测试 来 生成 规模 较 小 的 测试 集 。 


例如 ， 测 试 人 员 实 施 产 品 的 配置 测试 ， 需 要 测试 的 软件 配置 如 表 4-1 示 。 由 
该 表 可 知 全 组 合 测试 需要 2x3x4x2x3x3=432 个 配置 组 合 。 这 需要 大 量 的 测试 
时 间 ， 可 能 给 项 目 进度 带 来 风险 。 根 据 他 的 测试 经 验 ， 配 置 测 试 发 现 的 缺 
陷 大 多 是 由 一 个 或 两 个 配置 参数 所 暴露 的 ， 只 要 履 盖 任意 两 个 配置 参数 的 
取 值 组 合 ， 束 能 发 现 大 多 数 配置 缺陷 。 于 是 ， 他 利用 微软 的 组 合 测试 工 具 
PICT? 来 生成 两 因素 组 合 测试 用 例 集 (本 节 简 称 “ 两 因素 测试 集 ”) 


2 http://download.microsoft.com/download/f/5/5/f55484df-8494-48fa-8dbd-8c6f76cc014b/pict33.msi ° 


Hw, HAPS SCAB SC R, BA A EB EE E , 
个 变量 有 哪些 取 值 。 图 4-1 是 他 根据 表 4-1 制 作 的 模型 文件 ， 其 中 一 行 记录 了 
一 个 组 合 测试 的 变量 ,“:” 之 前 十 变量 名 ， 之 后 是 变量 的 可 能 取 值 。 该 模型 
文件 定义 了 配置 测试 的 配置 需求 。 


表 4-1 配置 测试 的 参数 和 取 值 


me 


= 


File Edit Format View Help 


PLATFORM: x86, amd64 
: Single, Dual, Quad 
2GB, 4GB, 8GB, 16GB 
SCSI, IDE 
WinVista, Win7, Win8 
8.0, 9.0, 10.0 


图 4-1 PICT 的 模型 文件 


然后 ， 他 在 命令 行 上 调用 “pict.exe config_test_model.txt /0:2 > 
pairwise_cases.txt”? ， 生 成 如 表 4-2 所 示 的 两 因素 测试 集 ， 其 特征 是 任意 两 个 
变量 (如 PLATFORM-CPU、CPU-HDD、RAM-OS 等 ) 的 取 值 组 合 都 被 履 
盖 。 这 时 ， 测 试用 例 个 数 由 全 组 合 的 432 个 下 降 到 16 个 ( 即 全 组 合 的 规模 是 
eee 从 而 加 快 了 测试 进程 ， 且 没有 显著 降低 错误 发 现 能 


3 在 该 命令 中 ，config test_model.txt 是 输入 的 模型 文件 ，/o:2 的 含义 是 生成 两 因素 测试 集 


pairwise_testcase.txt 是 输出 结果 


表 4-2 两 因素 组 合 测试 用 例 集 


| [= [= 
SCSI Win8 
IDE WinVista 


测试 人 员 还 可 以 使 用 PICT 生 成 模型 文件 的 三 因素 、 四 因素 、 了 五 因素 、 六 因 
R ( 即 全 组 合 ) 测试 集 ， 其 测试 用 例 的 个 数 如 图 4-2 所 示 。 由 图 中 可 知 ， 随 
着 因素 的 提高 ， 测 试用 例 的 个 数 呈 非 线性 增长 。 在 测试 实践 中 ， 受 到 测试 
资源 的 限制 ， 许 多 测试 人 员 仅 使 用 两 因素 组 合 测试 。 


500 
400 
300 
200 
100 | 
0 ii” | E i 国 
两 因素 三 因素 五 因素 AAR (全 组 合 ) 


图 4-2 测试 集 的 规模 随 因素 个 数 快速 增长 


4.1.2 ”根据 语 境 来 完善 组 合 测试 的 模型 


由 4.1.1 方 可知， 组合 测 试 针 对 的 问题 是 没有 足够 的 测试 资源 来 运行 所 有 的 
测试 用 例 (全 组 合 测试 集 ) ， 提 出 的 解决 方法 基于 一 个 数学 模型 和 一 个 假 
设 。 
。 所 基于 的 数学 模型 如 公式 (4-1) 所 示 ， bE 被 抽象 为 函数 六， 
品 的 输入 被 抽象 为 函数 的 变量 x XD, Aix; (1si<m ) 的 可 能 
取 值 是 有 限 的 ， 产 品 的 输出 被 抽象 为 东 OR Ely, AES 


。 所 依赖 的 假设 是 ， 如 果 测 试 覆 盖 了 任意 上 个 (2<t <m ) 输入 变量 的 取 
值 组合 ， 那 么 该 测试 可 以 发 现 函 数 了 的 大 部 分 猪 误 。 对 于 两 因素 组 合 测 
试 而 言 ， 其 假设 是 如 果 测 试 覆 盖 了 任意 两 个 输入 变量 的 取 值 组 合 ， 那 
么 它 可 以 发 现 产品 的 大 部 分 错误 。 


Y1 Y2, ,Yn = fiz, T2*** ,Tm) (4-1) 


以 上 数学 模型 和 假设 瑟 构 成 了 组 合 测试 的 测试 模型 。 它 非常 简单 有 抽象 ， 
可 以 广泛 地 "应 用 ”于 不 同 的 测试 活动 。 但 是 ， 正 因为 它 过 于 简单 且 抽 象 ， 
测试 人 员 需 要 根据 产品 特征 来 完善 该 模型 ， 才 能 使 它 “ 适 用 ”于 当前 的 测试 
活动 。 本 市 将 介绍 一 些 组 合 测试 可 能 遇 到 的 问题 ， 并 讨论 如 何 完善 测试 模 
型 来 解决 问题 。 


问题 1: 组 合 测试 的 理论 没有 讨论 如 何 建 立 其 数学 模型 


组 合 测试 的 测试 模型 很 简单 ， 但 是 组 合 测试 的 文献 很 少 讨论 如 何 根据 产品 
来 构建 该 模型 [Bach04b]。 然 而 ， 测 试 人 员 在 实施 组 合 测试 时 ， 必 须 解 决 以 
下 问题 。 


。 人 确定 变量 x | ,x ,,.…., Xm ， 即 确定 被 测 产 品 的 输入 变量 。 测 试 产 品 的 一 
个 功能 ， 要 考虑 许多 因素 。 如 图 4-3 所 示 ，PowerPoint 可 以 对 图 片 实 
施 “ 阴 影 * 特 效 。 在 测试 该 功能 时 ， 测 试 人 员 除 了 考虑 图 4-3 所 呈现 的 7 个 
设置 项 ， 还 需要 考虑 图 片 类 型 、 图 片 像 素 、 图 片 是 否 透 明 、 图 片 是 否 
具有 其 他 特效 、 图 片 是 否 与 其 他 元 素 “ 组 合 ”、 图 片 的 输出 类 型 等 变 
量 。 测 试 人 员 不 需要 通过 一 次 测试 去 覆盖 所 有 这 些 变量 ， 但 是 他 应 该 
谨慎 选择 当前 的 测试 需要 履 盖 哪些 变量 ， 并 计划 更 多 的 测试 以 覆盖 余 
下 的 变量 。 如 果 他 的 测试 设计 遗漏 了 重要 的 变量 ， 那 么 组 合 测 试 也 会 
音 失 重要 的 测试 用 例 。 


确定 每 个 变量 x; 的 取 值 集合 。 


表 4-3 是 图 4-3 所 列 7 个 设置 项 的 可 能 取 值 个 数 。 即 便 测 试 人 员 只 考虑 这 7 
个 变量 ， 表 4-3 的 两 因素 测试 集 也 包含 海量 的 测试 数据 。 为 了 获得 小 规 
模 的 两 因 系 测试 集 ， 测 试 人 员 篆 常用 等 价 类 划分 技术 来 获得 每 个 设置 
项 的 “典型 到 值 ”>。 如 采 他 的 等 价 类 划分 遗 调 了 一 个 重要 的 等 价 类 ， 那 
么 组 合 测试 也 会 错失 重要 的 测试 数据 。James Bach 对 两 因素 组 合 测试 的 
有 效 性 进行 了 实验 。 他 发 现 他 构造 的 两 因素 测试 集 错过 了 许多 缺陷 

(缺陷 发 现 率 不 到 50%) ， 缺 陷 遗 漏 的 主要 原因 是 该 测试 集 没 有 包含 可 
以 暴露 错误 的 特定 取 值 [James04b]。 也 就 是 说 ， 如 果 变 量 x 的 取 值 集合 
不 够 好 ， 组 合 测试 的 效果 束 会 大 打折 扣 。 


。 确定 检查 方法 ， 以 判断 返回 值 y 1 ,y ，,.…, yn 是 否 正 确 。 测 斌 人员 需 要 
构造 测试 先知 以 检查 产品 的 输出 。 不 严 谍 的 检查 有 可 能 遗漏 已 经 暴露 
的 缺陷 。 


设 重 图片 格 式 as 

> O B ls 

4 阴影 
预 设 (P) LJ ~ 
REC) A~ 
EEM 一 35% S 
大 小 (9 一 i 100% a 
模糊 (B) ”一 | 23 磅 = 
角度 (A) +4 45° 全 
ESO) 4 11 磅 


A] 4-3 PowerPoint 的 图 片 阴 影 功能 
表 4-3 设置 项 的 取 值 个 数 
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遗憾 的 是 ， 现 有 的 组 合 测 试 研 究 并 没有 很 好 地 回答 以 上 问题 。 这 体现 了 组 
合 测 试 面临 的 根本 性 挑战 : 纯粹 的 数学 模型 远离 产品 的 业务 模型 和 代码 的 
实现 模型 ， 不 能 直接 应 用 于 测试 。 为 此 ， 测 试 人 员 需 要 完善 组 合 模型 ， 使 
之 符合 业务 模型 和 实现 模型 。 在 此 过 程 中 ， 测 试 人 员 需 要 深入 地 研究 业务 
> 产品 需求 、 代 码 实现 、 测 试 技术 等 内 容 ， 付 出 持续 的 努力 且 无 捷径 
口 o 


问题 2; 组 合 测试 可 能 会 错过 最 重要 的 取 值 组 合 


14-4 Word 2013“ 高 级 ”设置 的 一 部 分 。 为 了 测试 Word 在 不 同 设置 下 的 行 
为 ， 可 以 将 一 个 单 选 框 视 为 一 个 变量 ( 取 值 为 “启用 ”或 “关闭 ”) ， 对 它们 生 
成 两 因素 测试 集 。 该 测试 集 看 似 较 好 地 覆盖 了 不 同 变 量 的 组 合 ， 但 是 很 可 
能 没有 有 履 盖 Word 的 默认 设置 。 不 幸 的 是 ， 很 多 用 户 从 不 修改 默认 配置 ， 测 
试 集 没有 禾 盖 最 常用 、 最 重要 的 取 值 组 合 。 这 揭示 了 组 合 测试 的 一 个 风 

Ke: 组 合 测试 的 数学 模型 可 能 不 适用 于 被 测 软件 。 如 果 测 试 人 员 不 仔细 分 
析 产 品 ， 只 依赖 组 合 测试 工具 ， 他 可 能 错过 重要 的 测试 用 例 。 


[E SE Word 时 用 的 高 级 选 大 


编辑 选项 


键入 内 容 苦 痪 所 选 文字 四 
选 定时 自动 选 定 整个 单词 (W/) 
Tirso Ss (D) 
Fa’ Ctrl + 单 击 " 昭 踪 起 链 接 (H) 
播 入 自选 图 形 时 自动 创建 给 图 画布 (A) 
使 用 智能 段落 选择 (M) 
使 用 智能 指针 (E) 
用 Insert 键 控制 改写 模式 (OQ) 
O 使 用 改写 模式 (V) 
提示 更 新 样式 
对 项 目 符号 或 编号 列表 使 用 正文 样式 (N) 
| 保持 格式 跟踪 (日 ) 
imoten ASR 
更 新 样式 以 匹配 所 选 内 容 山 ): | 保守 以 前 的 编号 和 项 目 符号 样式 v 
启用 * 即 点 即 边 "(CQ) 
默认 段落 样式 :| 正文 v 
显示 "记忆 式 键入 "建议 
不 自动 起 链接 屏幕 裁 图 (H) 
中 文字 体 也 应 用 于 西 文 (F) 
输入 法 控制 处 于 活动 状态 他) 


图 4-4 Word 的 “高 级 ”设置 

为 了 避免 漏 测 ， 测 试 人 员 应 该 利用 领域 知识 和 测试 技能 ， 发 掘 出 一 批 必须 
测试 的 取 值 组 合 。 考 虚 到 Word 用 户 的 使 用 模式 ， 测试 人 员 可 以 参考 如 下 测 
试 策略 。 

1. 将 默认 设置 对 应 的 取 值 组 合 加 入 测试 集 。 


2. 对 于 上 默认 设置 ， 每 次 修改 其 中 一 个 单 选 框 ， 获 得 一 批 取 值 组 合 。 将 它们 
加 入 测试 集 。 

3. 考虑 到 大 多 数 用 户 不 修改 默认 设置 或 只 修改 1 个 设置 ， 该 测试 用 例 集 已 
经 “足够 好 *”， 可 以 将 其 付 诸 测 试 。 


图 4-4 中 一 共有 19 个 单 选 框 。 如 果 不 考 虚 单 选 框 之 间 的 依赖 关系 ， 以 上 策略 
将 产生 20 条 测试 用 例 。 如 果 使 用 PICT 生 成 这 19 个 变量 的 两 因素 测试 集 ， 该 
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合 包含 10 条 测试 用 例 。 虽 然 手 工 生成 的 测试 用 例 要 多 于 PICT 的 结果 ， 但 
ETSI PIER 是 更 好 的 测试 集 。 


如 果 测 试 人 员 认为 覆盖 任意 两 个 变量 的 取 值 组 合 很 重要 ， 他 可 以 移 构 造 面 
问 业 务 的 测试 集 ， 然 后 将 其 作为 “种 子 *”， 利 用 PICT 生 成 两 因素 测试 集 。 例 
如 ， 命令 “pict.exe model.txt /e:seedrows.txt /0:2” 所 生成 的 测试 用 例 集 就 包含 
种 子 文件 (seedrows.txt) 所 指定 的 取 值 组 合 。 


问题 3: 组 合 测试 的 数学 模型 没有 描述 变量 之 间 的 约束 关系 


在 组 合 测试 的 数学 模型 中 ， 每 个 变量 的 取 值 是 相互 独立 的 ， 即 x ; 的 取 值 不 
会 影响 xj 的 取 值 。 但 是 ， 大 多 数 被 测 对 象 的 3 zE UTE RAR ° 以 表 
4-1 所 列 的 配置 参数 为 例 ， 当 变量 PLATFORM 的 取 值 是 x86 时 ， 变 量 RAM 的 
取 值 就 不 能 是 8GB 或 16GB， 因 为 x86 CPU 最 大 只 支持 4GB 内 存 。 a 
员 将 组 合 (PLATFORM: x86, RAM: 8GB) 作为 负面 测试 用 例 ， 也 是 不 可 
行 的 ， 因 为 x86 的 主板 根本 插入 不 了 8GB 的 内 存 。 


可 见 ， 如 果 不 考 虑 变量 之 间 的 约束 关系 ， 测 试 集 将 包含 大 量 的 无 效 测试 用 
例 。 因为 组 合 测试 工 县 生成 向 每 一 条 测试 用 例 对 于 因素 覆 吝 都 是 必 娄 由 ; 
UBRANA A, SFERRARE KMA ARA ARH 

AA ° 对 于 此 美 被 测 对 象 测试 人 员 应 该 明确 定义 变量 的 约束 关系 ， 让 
组 合 测试 工具 根据 约束 来 生成 有 效 的 测试 集 。 


例如 ， 在 PICT 的 模型 文件 中 ， 加 入 如 下 的 约束 语句 ， 束 可 以 定义 变量 之 则 
的 约束 关系 。 


IF [PLATFORM] = "x86" THEN [RAM] NOT IN ("8GB", "16GB"); 
IF [0S] = "Win8" THEN [IE] >= 10.0; 


第 一 条 约束 是 ， 当 CPU 是 x86 时 , Al NH Bb 是 8GB 或 16GB。 第 二 条 约束 是 ， 
当 操 作 系 统 是 Windows 8 时 ，IE 的 版 本 号 要 大 于 或 等 于 10.0。 当 PICT 读 取 模 
型 文件 时 ， 它 会 解析 约束 规则 ， 并 将 其 应 用 于 测试 用 例 生 成 过 程 。 生 成 的 
测试 集 既 满足 组 合 履 盖 标准 ， 又 不 包含 无 效 取 值 组 合 。 


在 大 多 数 情况 下 ， 无 业务 知识 的 数学 模型 不 会 是 高 效 的 测试 模型 。 定 义 约 
束 是 根据 产品 的 业务 模型 来 改进 组 合 测试 模型 。 测 试 人 员 需 要 仔细 分 析 业 


务 规则 ， 发 掘 出 应 该 加 入 组 合 测试 模型 的 约束 ， 使 组 合 测试 工具 有 更 丰富 
的 信息 来 处 理 输入 变量 。 


问题 4: 组 合 测试 用 例 可 能 被 < 卫 哨 ”语句 过 滤 


许多 软件 用 卫 哨 语 名 来" 过滤" 无 效 的 输入 。 例 如 ， 在 如 下 代码 中 ，if 语句 
就 是 一 个 卫 哨 ， 它 检查 画 数 的 输入 ， 一 旦 发 现 A<=1 就 退出 画 数 func(..) 。 


int func(int A, int B, int C) 


if (A <= 1) return ERROR; 


} 


QUAM ABA ETS, BOCA TFA TS A, Hy ee il EAT 
下 的 模型 文件 。 在 该 模型 中 ，A 的 取 值 是 0, 1, 2° 


利用 上 述 模 型 ，PICT 所 生成 的 测试 用 例 集 包含 10 条 测试 用 例 。 


A B C 
1 2 0 
2 0 2 
0 工 0 
2 2 工 
0 0 工 
工 工 2 
2 0 0 
0 2 2 
工 0 工 
2 工 工 


SS 


在 这 10 条 测试 用 例 中 ， 有 6 条 测试 用 例 因 为 A<=1 会 被 if 语句 过 滤 挥 。 只 有 4 
条 测试 用 例 ， 能 够 执行 到 if 之 后 的 语句 。 这 意味 着 只 有 40% 的 B 和 C 的 取 值 组 
合 被 真正 地 上 履 兰 。 这 个 例子 表明 ， 如 采 没 有 考虑 卫 哨 语句 对 执行 流 的 影 

啊 ， 测 试 集 将 不 能 达成 两 因素 或 多 因 和 又 上 黎 凋 的 目标 。 


面 对 此 类 问题 ， 测 试 人 员 要 仔细 阅读 规格 说 明 或 源 代 码 ， 发 掘 会 导致 执行 
流 跳 较 的 “非法 ? 取 值 。 他 可 以 将 非法 取 值 从 模型 中 排除 ， 将 变量 的 取 值 置 
于 正常 执行 流 的 范围 。 例 如 ， 对 于 函数 func ， 他 可 以 将 模型 文件 定义 为 : 


在 生成 测试 集 之 后 ， 再 加 入 一 条 的 测试 用 例 (A: 1，B: 1，C: 1) 以 覆盖 “ 非 
法 ” 取 值 。 原 模型 生成 的 测试 用 例 可 以 “通过 ” 卫 哨 语句 ， 窗 盖 因 素 A、B、C 
的 两 两 取 值 组 合 ， 附 加 的 测试 用 例 可 以 履 盖 卫 哨 语句 的 “过 滤 ” 功 能 。 


男 一 种 方法 是 在 PICT 的 模型 中 用 特殊 符号 “~” 标 记 出 “非法 ” 取 值 。 例 如 ， 在 
如 下 模型 中 ， 参 数 A 的 取 值 1 被 标记 为 非法 。 


PICT 会 保证 所 有 有 效 值 的 取 值 组 合 都 会 被 履 盖 ， 此 外 任意 非法 值 与 有 效 值 
的 组 合 也 会 被 覆盖 。 以 上 模型 将 生成 如 下 测试 用 例 集 。 


A B C 
2 2 0 


NORPNNRFPORFROOR 
NRPRONRFRFPNORON 
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试用 例 集 ， 因 为 它 几 乎 不 考虑 非法 值 与 有 效 值 的 组 合 。 如 果 只 是 从 规格 说 
明 中 了 解 到 程序 可 能 存在 卫 哨 语句 ， 那 么 用 第 二 种 方法 可 以 生成 更 “ 安 

全 ”的 测试 集 。 这 两 种 方法 都 说 明 测试 人 员 需 要 利用 软件 的 实现 模型 来 丰富 
组 合 测 试 的 数学 模型 ， 否 则 测试 集 很 可 能 无 法 达到 组 合 覆 也 的 目标 。 


问题 5: 组 合 测试 可 能 没有 提供 足够 的 测试 覆盖 


在 软件 测试 过 程 中 ， 最 先 找到 的 缺陷 往往 处 于 程序 的 “主干 "上 ， 典 型 的 执 
行 流 惑 可 以 覆盖 相应 的 路 径 或 状态 ， 被 遗漏 的 缺陷 常常 位 于 程序 的 “ 末 
校 *， 程 序 执行 需要 满足 特殊 条 件 才 能 履 盖 相应 的 语句 或 状态 。 这 是 软件 测 
试 的 经 验 之 谈 ， 也 提示 两 因素 组 合 测试 也 许 不 能 发 现 隐 藏 在 “ 末 枝 ”中 的 饼 
陷 。 一 些 路 径 需要 多 个 变量 的 特定 取 值 组 合 才能 被 履 盖 ， 然 而 两 因素 组 合 
测试 不 能 保证 测试 集 可 以 履 盖 这 些 组 合 。 因 此 ， 在 测试 资源 允许 的 情况 
下 ， 引 入 多 因素 组 合 履 盖 有 可 能 进一步 提高 错误 发 现 率 。 例 如 ， 在 命令 行 
上 执行 “pict.exe model.txt /0:3”， 可 以 生成 三 因素 测试 集 。 


然而 ， 并 不 是 所 有 的 变量 都 会 协同 工作 。 例 如 ， 在 如 下 琴 数 compute 中 ， 
输入 变量 x_1 和 _x_2 会 影响 输出 变量 y_1， 输 入 变量 x_3 和 _x_4 会 影响 输 

变量 y 2。 变量 x_1 与 _x_2 协 同 工 作 ， 变 量 x_3 与 x_4 协 同 工 作 ， 但 是 
x1, x _2) 和 (_x_3,_x_4) 之 间 并 没有 联系 。 因 此 ， 实 用 的 测试 策略 是 周密 
测试 x_1 和 _x_2 的 取 值 组 合 、 以 及 _x_3 和 _x_4 的 取 值 组 合 ， 简 单 测试 
x1、x 2、x 3 和 x 4 的 取 值 组 合 。 


void compute(int x1, int x2, int x3, int x4 int* y1, int* y2) 


*y1 = foo(x1, x2); 
*y2 = bar(x3, x4); 


昌 然 函数 compute 是 一 个 极度 简化 的 例子 ， 但 是 它 反 映 了 复杂 产品 的 特 
征 : 它 拥有 多 个 输入 变量 和 多 个 输出 变量 ， 一 个 输入 变量 不 会 影响 到 所 有 
的 输出 变量 ， 一 个 输出 变量 也 不 会 受 所 有 的 输入 变量 影响 。 测 试 人 员 可 以 
阅读 规格 说 明 ， 分 析 程 序 代码 ， 咨 询 程 序 员 ， 从 而 知晓 每 个 输出 变量 受 哪 
些 输入 变量 影响 。 他 将 相互 协作 的 输入 变量 纳入 小 组 ， 高 强度 测试 小 组 内 
部 的 变量 组 合 ， 低 强度 测试 跨 小 组 的 变量 组 合 。 


对 于 PICT， 测 试 人 员 可 以 在 模型 文件 中 定义 子 模型 。 例 如 ， 他 在 模型 文件 
中 增加 如 下 语句 ， 以 定义 两 个 子 模型 {PLATFORM, CPU, RAM, HDD} 和 
{OS, IE} ° 


{ PLATFORM, CPU, RAM, HDD } @ 3 
{ OS, IE} @2 


然后 ， 他 用 命令 “pict.exe model.txt /0:1” 生 成 测试 集 。 该 测试 集 对 
PLATFORM 、CPU、RAM 和 HDD 实 施 三 因素 组 合 绑 盖 ， 对 0S 和 下 实施 两 因 
RAGE in © 


这 个 例子 再 次 表明 ， 测 试 人 员 需 要 根据 软件 的 业务 规则 和 代码 实现 来 完善 
组 合 测试 模型 。 合 理 的 子 模型 使 得 测试 人 员 可 以 严密 地 测试 相关 变量 的 取 
值 组 合 ， 又 不 会 显著 提高 测试 集 的 规模 。 


问题 6: 全 组 合 测试 可 能 是 更 好 的 测试 策略 


组 合 测试 的 初衷 是 减少 测试 用 例 的 数量 ， 使 测试 可 以 在 较 短 的 时 间 内 完 
成 。 随 着 硬件 性 能 的 发 展 ， 目 动 化 测试 可 以 在 短 时 间 内 执行 成 千 上 万 的 测 
试用 例 。 而 且 ， 云 计算 技术 允许 多 人 台 计 算 机 并 行 地 执行 计算 ， 从 而 进一步 
提高 了 测试 执行 的 速度 。 这 使 得 测试 人 员 可 以 利用 软 硬 件 的 强大 性 能 来 执 
i 例 。 在 这 种 情况 下 ， 将 测试 模型 苦 换 为 全 组 合 测试 可 能 


例如 ， 表 4-1 的 配置 测试 的 全 组 合 测试 需要 432 条 测试 用 例 4。 假 设 测 试 人 员 
用 虚拟 机 完成 配置 测试 ， 创 建 一 台 满 足 配置 要 求 的 虚拟 机 需要 1.5 小 时 ， 运 
行 自动 化 功能 测试 需要 1.5 小 时 。 那 么 完成 432 个 配置 的 测试 ， 需 要 432x3 = 
1296 小 时 。 如 果 测 试 人 员 向 测试 实验 室 申请 20 台 虚拟 机 ， 完 成 全 部 测试 需 
要 1296-:20 = 64.8 小 时 。 这 意味 着 他 在 周 五 下 午 4 点 提交 测试 ， 周 一 上 午 9 点 
就 可 以 查看 所 有 测试 结果 。 可 见 ， 合 理 的 自动 化 测试 可 以 充分 利用 空闲 的 
计算 资源 ， 让 测试 人 员 既 能 享用 愉快 的 周末 ， 又 能 完成 党 重 的 测试 任务 。 


由 问题 3 可 知 ， 这 432 条 测试 用 例 包含 一 些 < 无 效 " 用 例 ， 实 际 可 执行 的 测试 用 例 数 要 小 于 432 条 。 为 
了 简化 讨论 ， 这 里 仍旧 使 用 432 条 测试 用 例 来 估算 测试 时 间 。 


一 种 接近 全 组 合 测试 的 方法 是 每 次 回归 测试 都 使 用 全 新 的 测试 集 。 有 些 
团队 将 组 合 测试 用 例 集 加 入 回归 测试 集 ， 在 项 目 过 程 中 复 地 执行 。 这 时 ， 
不 妨 每 次 生成 新 的 组 合 测试 用 例 集 ， 一 方面 满足 两 因素 或 多 因素 覆盖 的 要 
求 ， 另 一 方面 扩大 测试 对 程序 状态 空间 的 覆盖 。 如 果 每 次 都 使 用 相同 的 测 
斌 用例， 测试 集 可 能 只 是 反复 执行 相同 的 路 径 ， 和 覆盖 相同 的 状态 空间 ， 世 
许 不 能 发 现 隐 藏 的 缺陷。 如 果 每 次 都 用 新 的 测试 用 例 ， 随 着 回归 次 数 的 增 
长 ， 测 试 执 行 可 以 执行 更 多 的 路 径 ， 履 盖 更 广大 的 状态 空间 ， 发 现 隐藏 缺 
陷 的 概率 也 会 提高 。 

在 PICT 中 ， 参 数 "ALEN] 为 测试 用 例 生 成 引入 随机 种 于 IN 是 作为 随机 种 于 


的 整数 ) ， 以 生成 不 同 的 测试 用 例 集 。 例 如 ， 如 下 命令 行 指令 用 当前 日 期 
作为 种 子 ， 生 成 测试 用 例 集 。 


a 


set seed=%date:~4, 2%%date:~7, 2%%date:~10, 4% 
pict.exe model.txt /r:%seed% 


第 一 条 语句 从 当前 日 期 中 获得 年 、 月 、 日 信息 ?”， 放 入 变量 seed 中 。 第 二 
条 语句 以 变量 seed 为 种 子 ， 生 成 测试 用 例 。 FE MARRANA 
期 变化 ， 在 剑 证 两 因素 窗 盖 的 前 提 下 ， 逐 渐 获 六 了 更 多 的 程序 状态 。 


3 %date 的 格式 随 Windows 系 统 设置 而 变化 ， 该 语句 只 适用 于 特定 Windows 系 统 。 


行文 至 此 ， 本 市 已 经 讨论 了 实施 组 合 测试 的 6 个 问题 和 相应 的 解决 方法 。 从 
中 不 难看 出 测试 建 模 对 于 高 效 软 件 测试 的 重要 性 。 


—- 


通用 的 测试 技术 〈 如 组 合 测试 ) 往往 基于 “产品 中 立 ” 的 测试 模型 ， 虽 
然 可 以 广泛” 应用， 但 是 需要 测试 人 员 根据 产 品 来 完善 其 测试 模型 ， 
才能 “有 效 " 必 用 。 


完善 测试 模型 需要 参考 产品 的 业务 领域 ， 例 如 根据 领域 知识 抽取 恰当 
的 变量 、 确 定 变 量 的 取 值 、 定 义 变量 之 间 的 约束 关系 等 。 


发 展 测试 模型 还 需要 参考 产品 的 代码 实现 ， 例 如 根据 < 卫 哨 "语句 调整 
变量 的 取 值 集合 、 对 变量 分 组 以 实施 子 模型 的 组 合 测试 等 。 


综合 运用 多 种 技术 和 模型 能 够 提高 测试 效率 ， 例 如 第 6 个 问题 的 解决 方 
法 融 综 合 利用 了 组 合 测试 、 目 动 化 测 弃 、 随 机 测试 和 虚拟 化 技术 。 


测试 建 模 是 一 个 演进 的 过 程 。 测 试 人 员 很 难 在 项 目 之 初 瑟 知晓 所 有 细 
节 ， 所 以 测试 模型 的 初稿 往往 是 有 缺点 的 。 随 着 项 目的 发 展 ， 测 试 模 
型 的 不 足 会 在 测试 大 代 中 逐渐 紧 露 。 仙 责任 的 测试 人 员 会 针对 这 些 问 
题 ， 调 整 测试 模型 ， 让 它 “ 与 时 俱 进 ”。 


最 后 ， 我 癌 读者 推荐 James Bach 和 Patrick J. Schroeder 的 文章 Pairwise Testing: 
A Best Practice That Isn't [Bach04b]。 这 篇 文章 不 但 深入 分 析 了 组 合 测试 ， 给 
出 了 许多 很 好 的 建议 ， 还 展示 了 测试 专家 研究 测试 技术 的 思路 和 方法 。 该 
文 指出 职业 的 测试 人 员 应 该 运用 批判 性 思维 来 研究 他 所 使 用 的 每 项 技术 ， 
只 有 透彻 地 了 解 扩 术 的 优点 和 缺点 ， 才 能 根据 语 境 合理 地 使 用 技术 。 


41.3 ”测试 建 模 的 基本 点 


上 市 讨论 了 如 何 完善 组 合 测试 的 测试 模型 ， 来 解决 实施 组 合 测试 遇 到 的 问 
懒 。 从 中 不 难看 出 ， 合 理 的 测试 模型 可 以 准确 地 接 述 产品 ， 使 测试 更 有 和 儿 
对 性 ， 且 避免 了 测试 遗漏 和 痕 费 。 


为 了 获得 好 的 测试 模型 ， 测试 人 员 需 要 从 多 个 角度 考察 产品 ， 重 要 的 切入 
点 包括 业务 领域 、 软 件 实现 和 项 目 环境 。 


。 业务 领域 : 测试 建 模 的 对 象 是 被 测 产品 ， 而 构建 产品 的 使 命 是 解决 业 
务 问题 ， 因 此 恰当 的 模型 应 该 切合 产品 的 业务 领域 。 测 试 人 员 可 以 研 
完 需 求 文档 、 客 户 调查 、 相 关 产 品 、 领 域 专著 等 资料 ， 也 可 以 与 客户 
代表 、 产 品 经 理 等 相关 人 员 讨 论 ， 从 而 获得 测试 建 模 的 必要 信息 。 


软件 实现 : 好 的 测试 模型 具有 很 强 的 针对 性 ， 能 够 清晰 地 描绘 出 被 测 
产品 的 特征 ， 这 要 求 测试 人 员 分 析 产 品 元 素 ， 了 解 代 码 实现 。 具 体 而 
言 ， 测 试 人 员 可 以 参考 4.2.1 世 介绍 的 HTSM 之 “产品 元 素 "， 从 结构 、 功 


能 、 数 据 、 接 口 、 平 台 、 操 作 、 时 间 等 角度 分 析 软 件 实现 。 他 需要 学 
习 产 品 的 系统 染 构 、 代 码 结构 、 数 据 处 理 、 操 作 接 口 等 实现 细 市 ， 还 
需要 学 习 产 品 的 运行 环境 、 开 发 平台 等 背景 知识 。 


项 目 环 境 : 构建 测试 模型 的 目的 是 为 了 实施 更 好 的 测试 ， 好 的 测试 模 
型 不 一 定 复杂 ， 但 一 定 实用 一 一 能 够 切合 当前 项 目 环境 ， 并 充分 利用 
项 目 资源 。 为 此 ， 测 斌 人员 可 以 参考 HTSM 之 “项 目 环 境 "， 从 开发 者 大 
系 、 测 试 小 组 、 测 斌 设备、 测试 工具 、 项 目 进度 等 方面 考察 测试 模型 
的 可 行 性 。 例 如 ， 为 期 1 周 的 测试 和 为 期 4 周 的 测试 需要 不 同 的 测试 模 
型 。 前 者 的 测试 模型 较 人 简单 ， 会 聚焦 于 高 价值 的 功能 和 高 风险 的 领 
e a a 
产品 细节 。 


在 研究 和 思考 的 过 程 中 ， 测 斌 人员 需 要 记录 测试 模型 。 一 方面 ， 测 试 建 模 
征 一 个 持续 的 过 程 ， 测 试 人 员 会 根据 产品 的 变化 来 调整 测 斌 模型， 记录 当 
前 的 模型 为 模型 演化 提供 了 基础 。 另 一 方面 ， 测 弃 模 型 应 该 在 测试 小 组 中 
分 享 ， 让 更 多 的 人 检查 模型 、 提 供 意 见 、 使 用 模型 能 令 它 更 好 地 发 展 。 具 
体 而 言 ， 模 型 的 表达 方式 可 分 成 形式 化 模型 和 非 形式 化 模型 两 种 。 


。 形式 化 模型 可 以 被 工具 软件 读 取 ， 以 自动 生成 测试 数据 或 执行 测试 。 
例如 ，PICT 的 模型 文件 所 记录 的 就 是 一 个 形式 化 模型 ，PICT 可 以 根据 
它 生 成 测试 用 例 集 。 本 质 上 ，PICT 提 供 了 一 个 建 模 语言 ， 测 试 人 员 使 
用 该 语言 可 以 定义 被 测 对 象 的 测试 模型 ， 让 人 和 计算 机 都 可 以 理解 建 
模 结 果 。 与 PICT 相 似 ， 许 多 测试 工具 提供 了 测试 领域 专属 语言 ， 让 测 
试 人 员 记 录 测 试 模 型 ， 并 根据 模型 执行 目 动 化 测试 。 


非 形 式 化 模型 的 表现 形式 包括 自然 语言 表达 的 文字 、 列 表 、 草 图 等 。 
它们 记录 了 测试 人 员 的 思考 ， 为 接 下 来 的 测试 设计 提供 信息 。 例 如 ， 
图 3-3 的 功能 列表 就 是 PowerPoint 图 片 功 能 的 非 形 式 化 测试 模型 。 它 列 
举 了 图 片 的 主要 功能 ， 提 供 了 测试 覆盖 的 目标 ， 为 进一步 的 测试 设计 
建立 了 可 扩展 的 框架 。 


测试 建 模 是 一 个 研究 的 过 程 ， 测 试 模型 是 研究 的 成 采 。 不 过 ， 模 型 并 不 是 
最 终 的 目标 ， 它 只 是 辅助 测试 的 工具 ， 其 价值 只 取决 于 发 现 缺陷 的 效率 。 
为 了 优化 在 模型 上 所 投入 的 资源 ， 测 试 人 员 应 该 让 实际 的 测试 需求 来 推动 
模型 的 发 展 。 可 行 的 策略 十 构建 一 个 简单 的 模型 ， 用 它 指 导 测 斌 设计， 并 
根据 测试 反馈 来 改进 它 。 在 测试 适 代 中 ， 模 型 会 逐渐 成 长 ， 日 趋 成 熟 。 


4.2 ”常用 测试 建 模 方法 


随 着 软件 测试 的 发 展 ， 测 试 建 模 方 法 层出不穷 ， 本 书 无 法 一 一 介绍 。 本 市 
将 讨论 几 个 第 用 的 测试 模型 ， 为 更 高 级 的 测试 模型 黄 定 基础 。 


4.2.1 局 发 式 测试 策略 模型 


根据 产品 的 风险 设计 测试 是 一 种 常见 的 测试 设计 思路 。 在 复杂 的 现实 世 
界 ， 产 品 面 临 的 风险 多 种 多 样 ， 只 有 全 面 考虑 、 周 密 测试 才能 避免 风险 又 
露 导 致 的 严重 后 果 。 因 此 ， 测 试 人 员 需 要 一 个 相对 完整 、 可 以 定制 、 容 易 
扩展 的 风险 列表 或 参考 模型 ， 来 帮助 他 们 发 现 产 品 风险 。 局 发 式 测试 策略 
模型 (Heuristic Test Strategy Model，HTSM) 是 测试 专家 James Bach 提 出 的 
一 个 结构 化 的 、 可 定制 的 参考 模型 ， 从 测 斌 技术、 产品 元 素 、 项 目 过 程 、 
质量 标准 等 多 个 角度 局 发 测试 设计 [Bach12] 。 


图 4-5 是 HTSM 的 概要 描述 ， 测 试 人 员 利用 质量 标准 、 项 目 环境 、 产 品 元 
素 ， 指 导 测 试 技术 的 选择 与 应 用 ， 并 产生 观察 到 的 质量 。 


观察 到 的 质量 


图 4-5 ”局 发 式 测试 策略 模型 

HTSM 具 有 层次 结构 ， 其 顶层 元 素 (质量 标准 、 项 目 环境 、 产 品 元 素 、 测 试 
技术 ) 可 以 分 解 为 次 层 元 素 ， 而 次 层 元 素 可 进一步 分 解 为 第 三 层 元 素 。 本 
文 只 概要 介绍 次 层 元 素 ， 更 多 的 细节 请 参考 James Bach 的 文档 6 。 


6 http://www.satisfice.com/tools/htsm.pdf ° 


测试 技术 : 生成 测试 的 策略 。 有 效 地 选择 和 实施 测试 技术 ， 需 要 综合 分 析 
项 目 环境 、 产 品 元 素 和 质量 标准 。 可 选 的 测试 技术 如 下 。 


。 功能 测试 : 测试 软件 的 能 
域 测 试 : 测试 软件 所 处 理 的 数据 。 
压力 测试 ， 用 极限 行为 和 数据 压迫 软件 。 
。 流 测试 ， 测 试 软件 的 操作 顺序 。 
。 情景 测试 : 用 有 说 服 力 的 场景 来 测试 软件 。 
。 声明 测试 : 测试 需求 规格 、 广 告 宣传 等 文档 的 声明 。 
。 用 户 测试 : 邀请 用 户 参 与 测试 。 
。 风险 测试 : 猜测 软件 可 能 发 生 的 错误 ， 然 后 寻找 它 。 
目 动 测试 :用 工具 和 目 动 化 技术 来 多 角度 地 检查 软件 。 
项 目 环 境 : 资源 、 约 束 和 其 他 影响 测试 的 项 目 元 素 。 测 试 总 是 受到 项 目 环 
境 的 约束 。 在 某 个 团队 运转 良好 的 策略 不 一 定 适合 男 一 个 相似 的 团队 ， 以 
往 富有 成 效 的 方法 未 必 适 应 当前 的 项 目 。 有 经 验 的 测试 人 员 会 根据 当前 语 
境 ， 选 择 合适 的 测试 实践 。 项 目 环境 包括 如 下 几 个 方面 。 
。 使 命 : 测试 人 员 和 其 服务 对 象 需要 吏 测 试 人 员 的 任务 达成 一 致意 见 。 
。 信息 : 测试 所 需 的 有 关 产 品 和 项 目 信 息 。 
。 开发 者 关系 : 如 何 与 开发 者 协作 以 加 速 开发 。 
。 测试 团队 : 利用 团队 的 力量 支持 测试 。 
。 设备 与 工具 : 可 利用 的 硬件 、 软 件 和 文档 等 资源 。 
。 ERE: 项 目 实施 的 流程 。 
。 测试 条 目 : 测试 范围 和 重点 。 


e 交付 品 : 测试 人 员 的 产 出 。 


产品 元 素 : 需要 测试 的 对 象 ， 包 括 如 下 几 个 方面 (2.2.2 节 从 测试 覆盖 的 角 
度 详细 讨论 了 产品 元 素 ) 


。 结构 : 产品 的 物理 元 素 ， 如 人 代码、 硬件、 配置 文件 、 数 据 文 件 等 。 
。 功能 : 产品 的 功能 。 
。 数据 : 产品 所 操作 的 数据 。 
e 接口 : 产品 所 使 用 的 或 条 露出 的 接口 。 
。 平台 : 产品 所 依赖 的 外 部 元 素 。 
。 操作 : 使 用 产品 的 方式 。 
e 时间 : 影响 产品 的 时 间 因 素 。 
质量 标准 : 产品 需要 考虑 的 质量 特性 ， 包 括 如 下 几 个 方面 。 
。 能 力 : 产品 能 否 完成 期 望 的 功能 ? 
产品 能 人 否 在 期 望 的 条 件 下 稳定 的 工作 ? 
。 可 用 性 : 真实 用 户 能 人 否 顺利 地 使 用 产品 ? 


。 安全 性 : 产品 能 否 抵御 恶意 攻击 ? 

。 可 伸缩 性 : 产品 能 否 目 如 地 使 用 软 硬 件 资 源 ? 

。 兼容 性 : 产品 能 否 与 外 部 组 件 和 配置 协同 工作 ? 

。 PERE: 产品 的 速度 和 响应 如 何 ? 

。 可 安装 性 ， 产品 是否 易于 安装 ? 

。 面向 研 发 团队 的 特性 :研发 团队 能 否 方便 地 编写 、 测 试 和 修改 软件 ? 


由 以 上 介绍 可 知 ，HTSM 由 一 组 指导 性 词语 组 成 ， 它 们 构成 一 个 概念 框架 ， 
让 测试 人 员 从 高 层 抽 象 到 局 让 层 细节 对 产品 和 测试 进行 思考 。 这 些 指导 性 记 


汇 是 测试 的 指南 ， 其 作用 不 是 教导 如 何 具体 测试 ， 而 是 局 发 测试 人 员 的 思 
维 ， 发 握 测 弃 对 象 和 测试 党 略 。 


图 4-6 摘 孙 自 James Bach 的 测试 培训 教材 [Bach11]， 体 现 了 HTSM 对 于 测试 设 
计 的 意义 。 


。 测试 设计 以 风险 张 动 。 测 试 人 员 分 析 质 量 标准 、 项 目 环境 和 产品 元 聚 
中 的 风险 ， 设 计 有 针对 性 的 测试 策略 。 


。 在 测试 设计 时 ， 质 量 标准 局 发 测试 先知 ， 项 目 环境 启发 测试 过 程 ， 产 
品 元 素 局 发 测试 覆 兰 ， 观 察 到 的 质量 局 发 测试 报告 。 


e 对 于 测试 ，HITSM 强 调 测试 策略 的 多 样 性 ， 和 平衡 代价 和 收益 ， 利 用 局 发 
式 方法 充分 发 挥 测试 人 员 的 技能 。 


风险 


测试 过 程 


风险 


测试 覆盖 


测试 技术 
= 多 样 性 
质量 标准 平衡 代价 和 收益 
技能 
启发 式 方法 


测试 报告 
观察 到 的 质量 
图 4-6 HTSM 中 的 测试 先知 、 测 试 过 程 、 测 试 覆盖 和 测试 报告 
因为 HTISM 是 一 个 框架 ， 测 试 人 员 可 以 用 它 对 测试 方法 分 类 ， 从 而 更 好 地 理 


解 这 些 测试 方法 的 着 眼 点 。 例 如 ， 表 4-4 记 录 了 一 些 测试 文档 在 HTSM 中 的 
位 置 ， 对 于 识别 这 些 文 档 的 作用 和 关系 有 一 定 帮助 。 


表 4-4 测试 文档 在 HTSM 中 的 概念 


测试 文档 在 HTSM 中 的 概念 


Google ACC 之 属性 HTSM = 质量 标准 > 


HTSM > 产品 元 素 
HTSM > 产品 元 素 


Google ACC 之 部 件 


Google ACC 之 能 HTSM > 质量 标准 


HTSM > 产品 元 素 > 功能 
HTSM > 测试 技术 > H 


则 试想 法 列表 HTSM > 测试 技术 


HTSM > 项目 环境 ~” 交付 物 
HTSM > 观察 到 的 质量 


在 定制 化 之 前 ，HTSM 对 测试 人 员 的 帮助 很 小 ， 因 为 此 时 的 HISM 是 “James 
Bach 的 模型 ”， 而 不 是 符合 当前 语 境 的 模型 。HTSM 是 通用 的 模型 ， 虽 然 能 
够 普遍 应 用 ， 但 是 不 能 快速 、 高 效 地 指导 具体 的 测试 工作 。 测试 人 员 需 要 
将 其 “本 地 化 ”>， 才 能 发 挥 其 威力 。 


Cem Kaner 用 思维 导 图 7 定制 自己 的 HTSM [Kaner11]。 如 图 4-7 所 示 ， 他 将 
HTSM 作 为 中 心 ， 将 质量 标准 、 测 斌 技术、 项 目 环 境 、 产 品 元 素 作为 主干 。 


7 测试 专家 Michael Larsen 在 XMind.net 上 提供 了 他 制 eve 维 导 图 p 
(http:/www.xmind.net/share/mkltesthead/ ) ， 为 测试 人 员 制 作 自己 的 HTSM 提 供 了 很 好 的 范例 。 


图 4-7 思维 导 图 形式 的 HTSM 


在 分 文 上 ，Cem Kaner 添 加 了 他 觉得 重要 的 节点 。 例 如 ， 在 图 4-8 中 ， 他 在 
产品 元 素 下 增加 了 优点 节点 和 时 间 节 点 (其 中 时 间 节 点 来 自 测试 专家 
Michael Bolton 的 建议 ) ， 以 满足 他 的 工作 需要 。 


i= 


图 4-8 ”通过 增加 节点 来 定制 HTSM 


恰 如 Cem Kaner 所 说 , “大 多 数 严 肃 对 待 此 模型 的 人 都 会 定制 它 以 符合 自己 
的 需要 ”， 测 试 人 员 应 该 修改 HTSM， 以 获得 符合 项 目 语 境 的 模型 。 定 制 
HTSM 是 理解 并 掌握 HTSM 的 过 程 。 与 大 多 数 方法 一 样 ， 测 试 人 员 需 要 修改 
a 加 入 自己 的 风格 和 元 素 ， 才 能 真正 掌握 它 。 以 下 是 一 些 常 见 的 修改 手 
Ty o 


。 增加 节点 :增加 与 当前 项 目 相 关 的 测试 技术 、 测 试想 法 、 测 试 对象 和 
任何 测试 人 员 认为 有 价值 的 元 素 。 
。 删 减 节 点 : 忽略 一 些 与 项 目 或 任务 无 关 的 元 素 。 


。 增加 标记 、 注 释 、 链 接 等 元 素 : 标记 可 以 突显 重要 的 元 素 ， 注 释 可 以 
增加 更 多 的 细 季 ， 链 接 可 以 指 同 更 详细 的 信息 源 。 


定制 HTSM 也 是 应 用 HTSM 的 过 程 。 测 试 人 员 遵 循 HTSM 的 结构 ， 深 入 地 思 
考 产 品 、 项 目 与 测试 ,添加 自己 的 想法 、 评 论 、 标 记 和 启发 式 问 题 。 这 本 
身 就 是 极 好 的 测试 学 习 过 程 。 作 为 学 习 的 结果 ， 定 制 后 的 HTSM 为 测试 设计 


提供 了 坚实 的 基础 。 在 测试 过 程 中 ， 测 试 人 员 会 接触 新 信息 ， 学 习 新 知 
识 。 他 会 持续 地 将 新 知识 补充 到 HTSM 中 ， 以 迭代 地 优化 测试 模型 。 从 这 个 
角度 ，HTSM 既 是 测试 想法 的 源头 ， 又 是 测试 过 程 的 产 出 。 在 测试 设计 时 ， 
测试 人 员 可 以 逐个 检查 HTSM 中 的 元 素 (指导 性 词语 ) ， 阅 读 相 关 标 记 、 注 
释 和 链接 ， 以 启发 测试 思路 。 他 可 以 目 问 : 

。 该 元 素 与 当前 测试 任务 相关 吗 ? 

。 针对 该 元 素 ， 产 品 有 什么 风险 ? 可 能 会 有 什么 缺陷 ? 

© 通过 什么 测试 可 以 发 现 这 些 缺 陷 ? 

。 依据 当前 的 进度 和 资源 ， 如 何 实施 这 些 测试 ? 

男 一 种 更 有 威力 的 方法 是 综合 HTSM 中 的 多 个 元 素 ， 开 发 测试 策略 。 当 程序 
员 用 单元 测试 检查 了 组 件 ， 测 试 人 员 需 要 在 系统 层面 检查 产品 。 此 时 ， 产 
品 的 缺陷 往往 存在 于 组 件 的 交互 和 复杂 的 流程 。 综 合 产 品 的 多 个 方面 ， 开 
发 多 样 的 测试 才能 够 更 好 地 体现 测试 人 员 的 价值 。 一 些 有 帮助 的 启发 式 问 
题 包括 以 下 几 点 。 

。 该 元 素 与 哪些 元 素 相 关 ? 

。 元 素 的 组 合 有 没有 揭示 出 新 的 风险 ? 
如 何 设 计 测 试 ， 以 同时 测试 这 些 元 素 ? 

。 能 否 让 来 目 元 素 A 的 信息 帮助 元 素 B 的 测试 ? 

通过 思考 这 些 问 题 ， 测 试 人 员 可 以 设计 出 强 有 力 的 测试 党 略 。 例 如 ，3.2.4 
节 给 出 了 一 个 复杂 的 情景 测试 ， 用 于 回归 测试 PowerPoint 的 图 片 功 能 。 为 了 
方便 读者 阅读 ， 在 此 将 该 测试 复述 如 下 。 

1. 新 建 一 个 PowerPoint 文 档 。 
2. 癌 文 档 中 插入 图 片 。 

。 和 履 盖 所 有 文 持 的 图 片 格式 。 

。 入 . 盖 典 型 的 图 片 尺寸 。 


。 黎 兰 来 目 单反 相机 的 大 型 岁 片 。 


3. 操作 文档 中 的 图 片 。 

。 禾 盖 “ 图 片 工 具 ” 下 的 所 有 命令 。 

。 用 一 个 命令 修改 图 片 。 

。 用 多 个 命令 修改 图 片 。 

。 保持 一 些 图 片 不 被 修改 。 
4. 应 用 文档 中 的 图 片 。 

。 将 图 片 与 其 他 元 素 组 合 使 用 。 

。 覆盖 文本 框 、 形 状 、SmartArt、 图 表 、 日 期 与 时 间 等 元 素 。 
5. 将 文档 中 的 元 素 导 出 为 图 片 。 
敌 盖 所 有 可 以 被 输出 的 元 素 ， 页 面 、 图 片 、 形 状 、SmartArt、 图 表 等 。 
覆盖 所 有 支持 的 图 片 格式 。 
覆盖 相关 的 用 户 界面 命令 1 上 下 文 染 单 ( 即 右键 弹出 菜单 ) 、 
Backstage 点击“ 文件 ” >“ 导出 ”o>“ 改变 文件 类 型 ") 、 复 制 并 粘贴 到 
画图 板 。 
覆盖 相关 的 VBA 对 象 模 型 。 
6. 打印 该 文档 。 

e 打印 到 黑白 打印 机 ° 

。 打印 到 彩色 打印 机 ° 

。 打印 到 PDF 文档 。 

。 打印 到 XPS 文 档 。 
7. 保存 该 文档 并 重新 打开 。 

。 男 存 为 所 有 支持 的 格式 。 

。 用 PowerPoint 打 开 生 成 的 文档 。 


。 用 旧版 本 PowerPoint 打 开 生 成 的 文档 。 


分 析 以 上 测试 步 又 ， 不 难看 出 该 测试 简 兽 了 “HTSM- 产品 元 素 ” 分 文 的 所 
有 元 素 。 


结构 : 测试 覆盖 了 位 于 powerpnt.exe (PowerPoint 的 可 执行 程序 ) ` 
mso.dll 《提供 图 片 功能 的 动态 链接 库 ) 等 文件 的 代码 。 


功能 : 测试 覆盖 了 创建 文件 、 导 入 图 片 、 修 改 图 片 、 应 用 图 片 (将 图 
片 与 其 他 元 素 组 合 使 用 ) 、 导 出 图 片 、 打 印 文件 、 读 写 文件 等 功能 。 


数据 ， 测试 履 盖 了 不 同 的 导入 图 片 类 型 、 导 入 图 片 尺寸 、 导 出 图 片 类 
型 。 此 外 ， 使 用 “图 片 工具 ”的 命令 修改 图 片 也 产生 了 新 的 图 片 数 据 。 


接口 : 测试 覆盖 了 用 户 界 面 和 编程 接口 (VBA 对 象 模型 ) o 


平台 : 测试 覆盖 率 多 种 打印 机 类 型 ， 包 括 彩 色 打 印 机 、 黑 白 打印 机 、 
虚拟 打印 机 (PDF 和 XPS) 。 


操作 : 测试 用 不 同 的 命令 修改 图 片 ， 用 不 同 的 命令 序列 修改 图 片 。 


时 间 : 测试 覆盖 了 插入 日 期 与 时 间 、 打 印 日 期 与 时 间 、 读 写 文件 中 的 
日 期 与 时 间 。 


由 这 个 例子 不 难看 出 ， 构 建 模型 是 消化 和 聚焦 的 过 程 ， 应 用 模型 则 征 扩 展 
和 发 散 的 过 程 。 


。 在 创建 模型 时 ， 测 试 人 员 将 复杂 的 项 目 和 软件 抽象 为 相对 简单 的 元 又 
和 关联 ， 将 注意 力 集中 在 他 认为 重要 的 因素 上 ， 而 省 略 其 他 细 世 。 一 
个 精炼 的 模型 易于 理解 、 易 于 应 用 ， 而 一 个 过 于 庞杂 的 模型 则 让 人 抓 
不 到 重点 ， 反 而 不 利于 测试 实战 。 


在 使 用 模型 时 ， 测 试 人 员 用 模型 激发 测试 灵感 ， 通 过 发 散 思 维 构 思 出 
多 种 多 样 的 测试 设计 。 模 型 是 知识 和 经 验 的 浓缩 ， 其 简要 的 形式 古 思 
邯 的 起 点 ， 而 不 是 思考 的 边界 。 测 试 人 员 需 要 充分 利用 模型 强 含 的 知 
识 去 产生 尽 可 能 多 的 测试 想法 ， 以 扩大 测试 覆 吉 。 


除了 综合 HTSM 中 一 个 分 文 的 元 素 ， 测 试 人 员 还 可 以 绿 合 不 同 分 文 的 元 素 。 
例如 Google ACCHRAL IE im 2 Ta SCH TCR: 属性 对 应 “HTSM > 质量 
标准 ~ WRJ”, 部件 对 应 “HTSM -~ 产品 元 素 > 结构 ”和 “HTSM > 产品 元 


R > 功能 ”， 能 力 对 应 “HTSM > 质量 标准 ~ 能 力 ?。 用 多 个 角度 考察 软 
件 ， 能 够 开发 出 强力 测试 策略 ， 达 到 事半功倍 的 效果 。 


总 之 ，HTSM 走 一 个 由 测试 指导 词组 成 的 测 弃 模型 ， 能 够 在 整个 测试 过 程 提 
供 帮 助 。 在 制订 测试 计划 初稿 时 ， 它 可 以 帮助 测试 人 员 完 整地 思考 产品 ， 

从 而 产生 系统 性 的 测试 计划 。 在 测试 过 程 中 ， 它 可 以 帮助 测试 人 员 组 合 测 
试想 法 、 深 入 探索 产品 ， 以 开发 出 强 有 力 的 测试 策略 。 在 回归 测试 中 ， 它 
可 以 帮助 测试 人 员 确定 测试 范围 ， 制 定 测试 方案 。 


4.2.2 输入 与 输出 模型 


输入 与 输出 模型 《简称 IO 模型 ) 是 最 基本 的 测试 模型 ， 它 将 被 测 对 象 (D 
能 、 模 块 、 系 统 等 ) 视 为 一 个 整体 ， 分 析 并 列举 该 对 象 的 输入 变量 和 输出 
变量 。 在 大 多 数 测 斌 中， 测试 人 员 都 会 有 意 或 无 意 地 使 用 IO 模型 ， 因 为 它 
反映 了 测试 的 基本 需求 : 掌握 输入 变量 可 以 控制 或 影响 被 测 对 象 的 行为 ， 
掌握 输出 变量 可 以 观察 行为 的 后 采 ， 从 而 检查 其 是 否 正确 。 


图 4-9 是 Cem Kaner 和 Doug Hofftman 描 绘 的 被 测 系统 的 输入 和 输出 
[Kaner08c]， 体 现 了 构建 相对 完整 的 IO 模型 需要 考虑 多 个 因素 。 


端 或 服务 器 的 输入 
图 4-9 被 测 系统 的 输入 与 输出 


在 输入 方面 ， 值 得 考虑 的 因素 包括 以 下 儿 点 。 
。 aes 为 了 完成 某 项 任务 ， 用 户 有 意识 地 操控 软件 所 产生 的 输 


— 被 测 系统 “上 一 > 


对 相连 设备 和 系统 资源 
的 影响 


发 给 协作 的 进程 、 客 户 
端 或 服务 器 的 输出 


。 无 意 的 输入 : 用 户 无 意 间 产生 的 输入 。 对 此 ， 测 试 专家 Jonathan Kohl 
分 享 过 一 个 故事 [Kohl12]。 某 个 平板 电脑 上 的 软件 在 测试 时 很 稳定 ， 
但 在 演示 时 总 是 出 错 。 经 过 反复 测试 ，Kohl 发 现 了 错误 原因 。 演 示 
时 ， 第 一 位 演示 者 会 将 平板 递 给 第 二 位 演示 者 。 在 交接 的 瞬间 ， 两 个 
人 都 握 着 平板 电脑 ， 这 导致 屏幕 上 产生 多 个 触 点 信号 ， 而 且 移动 所 产 
生 的 惯性 使 加 速 感应 器 发 出 信和 号。 该 软件 不 能 很 好 地 处 理 多 个 并 发 的 
言 号 ， 于 是 出 错 。 该 案例 说 明 ， 测 试 人 员 需 要 仔细 观察 他 人 和 上 自己 的 
行为 ， 发 现 认 知 的 盲点 ， 才 能 找到 一 些 被 忽视 的 重要 输入 。 


程序 状态 : 程序 自身 的 状态 ， 通 常 包 含 内 存 中 的 数据 和 程序 依赖 的 外 
部 数据 。 例 如 ， 许 多 Web 应 用 会 从 数据 库 中 加 载 数据 ， 也 会 把 数据 更 新 
写 回 数据 库 ， 而 这 些 数 据 值 很 可 能 决定 了 Web 应 用 的 行为 。 


系统 状态 : 程序 所 依赖 的 运行 平台 的 状态 。 例 如 ， 当 用 户 切换 
Windows 8 应 用 时 ， 操 作 系统 会 问 被 换 出 的 应 用 发 出 “ 挂 起 ”事件 ， 固 换 
入 的 应 用 发 出 “恢复 ”事件 。 对 于 一 球 应 用 而 言 ， 它 要 快速 响应 “ 挂 起 ” 事 
件 ， 在 系统 规定 的 5 秒 内 保存 必要 的 目 映 状态 ， 它 还 要 正确 啊 应 “ 恢 
复 ” 事 件 ， 来 加 载 已 保存 的 状态 ， 提 供 流畅 的 用 户 体 粕 。 对 此 ， 测 试 人 
员 应 该 构造 多 个 “ 挂 起 ”和 “恢复 ”事件 的 序列 ， 以 检查 软件 的 相关 功能 。 


配置 与 系统 资源 :影响 软件 行为 的 配置 和 平台 资源 。 例 如 ， 软 件 执行 
某 个 操作 时 需要 大 量 的 内 存 。 在 一 台 4GB 内 存 的 机 器 上 ， 该 操作 较 容 
易 失 败 ， 在 一 台 16GB 内 存 的 机 器 上 ， 该 操作 就 不 容易 失败 。 然 而 ， 内 
存 资源 被 同一 台 计 算 机 上 的 进程 所 共享 。 如 果 其 他 进程 占据 了 大 部 分 
内 存 ， 该 操作 仍旧 会 失败 。 


来 自 协作 的 进程 、 客 户 端 或 服务 器 的 输入 。 例 如 ， 对 于 必 应 词典 ,来 
目 必 应 服务 怖 的 单词 解释 残 是 很 重要 的 输入 数据 。 


在 输出 方面 ， 值 得 考虑 的 因素 包括 以 下 儿 点 。 
。 被 监控 的 输出 : 被 用 户 观察 到 的 软件 输出 。 


。 未 被 监控 的 输出 ， 没 有 被 监控 或 没有 被 观察 到 的 输出 。 例 如 ， 必 应 词 
典 可 以 将 一 个 单词 “添加 到 生词 本 ”， 该 操作 会 将 一 条 记录 写 入 一 个 本 
地 的 数据 库 。 对 于 不 了 解 实现 细节 的 用 户 或 测试 人 员 ， 该 输出 几乎 
是 “不 可 见 * 的 。 如 果 测 试 人 员 发 现 了 该 输出 变量 ， 他 很 容易 产生 一 批 
测试 要 法 ， 如 测试 数据 库 委 失 、 雪 据 库 损坏 ”数据 库容 量 耗 尽 等 全 
Wi ° 


。 程序 状态 ， 程序 自身 的 状态 ， 通 常 包 含 内 存 中 的 数据 和 程序 依赖 的 外 

部 数据 。 例 如 ，Web 应 用 会 将 用 户 提交 的 数据 写 入 数据 库 。 测 试 人 员 需 
要 检查 其 输出 的 数据 是 否 正确 、 是 否 被 正确 地 写 入 数据 库 。 如 采 所 提 
及 的 数据 包含 错误 甚至 恶意 代码 ， 测 试 人 员 要 检查 Web 应 用 不 会 写 入 错 
翅 数 据 或 破坏 数据 库 。 


系统 状态 : 软件 运行 会 修改 运行 平台 的 状态 ， 这 可 能 对 平台 和 平台 之 
上 的 其 他 进程 产生 影响 。 例如， 软件 为 了 完成 计算 会 临时 性 地 锁 住 某 
个 文件 ， 此 时 其 他 答 试 访问 该 文件 的 进程 都 会 遭遇 访问 失败 。 


对 相连 设备 和 系统 资源 的 影响 。 我 开发 过 一 个 测试 程序 ， 它 整 晚 运行 
测试 用 例 。 部 署 后 的 隔 天 ， 我 发 现 运行 该 测试 程序 的 计算 机 失去 虽 
应 。 重 司机 融 后 ， 我 对 测试 程序 进行 了 调试 ， 发 现 它 存在 一 个 内 存 泄 
漏 的 错误 。 短 时 间 运 行 该 程序 ， 不 会 产生 严重 的 后 果 ， 但 是 整 晚 运 行 
会 耗 尽 计算 机 的 可 用 内 存 ， 导 致 计算 机 失去 啊 应 。 


发 给 协作 的 进程 、 客 户 端 或 服务 器 的 输出 。 例 如 ， 必 应 词典 在 接受 用 
户 输入 的 单词 后 ， 会 构造 一 个 HTTP 请 求 ， 将 它 发 送 给 必 应 服务 器 。 该 
HTTP 请 求 可 视 为 它 对 用 户 输入 的 输出 ， 测 试 人 员 需 要 检查 该 输出 是 否 
正确 、 构 造 并 发 送 请 求 的 性 能 是 否 达到 预期 等 内 容 。 


由 以 上 讨论 可 知 ， 为 了 建立 完整 的 IO 模 型， 测试 人 员 需 要 从 多 个 角度 考察 
被 测 对 象 和 相关 系统 。 为 此 ， 他 可 以 研究 项 目 文档 ， 咨 询 产品 经 理 ， 请 孝 
程序 员 ， 并 通过 测试 来 建立 IO 模型 。 测 试 实际 的 产品 ， 获 取 第 一 手 的 次 
料 ， 很 可 能 发 现 一 些 其 他 渠道 不 能 获得 的 信息 。 


3.2.13 节 介绍 了 基于 测 程 的 测试 管理 (Session-Based Test Management, 
SBTM) 。 许 多 测试 小 组 并 不 使 用 SBTM 组 织 测 斌 活动， 但 这 并 不 妨碍 测试 
人 员 用 测 程 来 管理 自己 的 时 间 。 在 SBTM 中 ， 测 程 有 4 个 特点 ， 主题、 时 间 
使 、 可 评审 的 结 采 和 简报 [Bach04a]。 当 测试 人 员 目 己 运用 测 程 时 ， 通 常 不 
需要 做 简报 ， 于 是 主题 、 时 间 盒 和 可 评审 的 结果 是 他 考虑 的 重点 。 


。 主题 是 一 个 具体 的 测试 任务 ， 它 可 以 在 90 分 钟 的 时 间 盒 内 完成 ， 并 提 
供 有 价值 的 结果 。 一 个 值得 参考 的 主题 模板 是 : “使 用 (资源 ) ， 探 索 
(特定 对 象 ; ， 以 求 发 现 (信息 ) ”[Hendrickson13]。 对 于 构建 IO 模 
型 ， 主 题 可 以 是 “利用 Fiddler 等 网 络 工具 ， 分 析 必 应 词典 与 服务 器 的 通 
信 ， 以 了 解 必 应 词典 与 服务 器 的 输入 输出 关系 ”\“ 利 用 Process Monitor 
等 调试 工具 ， 探 索 必 应 词典 ， 以 了 解 它 对 操作 系统 的 读 写 操作 ”等 。 


。 时间 盒 是 一 段 不 受 打 扰 的 测试 时 间 ， 一 般 为 60~120 分 钟 。 测 试 人 员 可 
以 根据 主题 确定 合适 的 时 长 。 在 此 期 间 ， 测 斌 人员 专注 于 工作 ， 不 进 


行 与 测 程 无 天 的 活动 。 


。 可 评审 的 结 采 是 测 程 的 产 出 。 对 于 构建 IO 模型 ， 测 程 的 产 出 束 是 被 测 
对 象 的 IO 模型 ， 它 可 以 是 一 份 列 表 ， 记 录 了 所 发 现 的 输入 变量 和 输出 
变量 。 测 斌 人 员 可 以 将 IO 模 型 记 入 测试 筷 EE 记 ， 为 今后 的 测试 提供 参 
考 ， 也 可 以 将 它 分 享 给 测试 小 组 ， 使 知识 得 以 传播 。 


面 对 一 个 复杂 的 被 测 对 象 ， 测 试 人 员 可 以 安排 一 个 测 程 去 产生 它 的 IO 模 
型 。 如 果 测 试 对 和 象 非常 复杂 ， 他 可 以 安排 一 组 测 程 去 生成 其 IO 模 型 的 不 同 
部 分 ， 最 终 获 得 完整 的 模型 。 此 类 测 程 通常 使 用 一 些 漫游 测试 方法 (漫游 
测试 将 在 5.4 节 讨论 ， ， 来 探索 软件 的 各 个 方面 。 


测 程 通 音 要 使 用 一 些 软件 工具 。 由 图 4-9 所 列 的 输入 和 输出 因素 可 知 ， 构 建 
IO 模 型 需要 分 析 软 件 状态 、 它 与 操作 系统 的 交互 、 它 与 其 他 软件 和 服务 的 
交互 。 不 使 用 工具 去 查看 软件 和 交互 的 内 部 细节， 很 难 实施 完整 的 分 析 。 
在 Windows 平 台 上 ， 我 常 使 用 表 4-5 所 列 的 软件 工具 。 


表 4-5 Windows 平 台 的 常用 测试 分 析 工 具 


Windbg 可 以 调试 Windows 应 用 和 Windows 操 作 系 统 。 我 常 使 用 它 观察 原 4 
程序 和 托管 程序 的 状态 ? 


Process Explorer 可 以 提供 任意 进程 的 详细 信息 ， 包 括 程 序 路 径 、 命 令 行 参 
` 性 能 指标 (CPU ` NÉ ` IO ` GPU > .NET) 、 句 柄 、 模 块 、 线 程 和 环 


境 变量 等 


Process Monitor 可 以 监视 并 记录 一 组 进程 对 注册 表 、 文 件 系 统 和 网 络 的 访 
问 。Process Explorer 提 供 了 进程 的 当前 前 状态 ，Process Monitor 则 提供 了 进程 
一 段 时 间 的 运行 轨迹 ， 综 合 使 用 可 以 了 解 进 程 与 进程 、 进 程 与 操作 系统 

间 的 互动 车 


Fiddler! Fiddler 是 一 个 web 调试 代理 ， 能 够 记录 并 实时 修改 计算 机 与 网 络 服务 器 之 间 
的 HTTP(S) 通 信 。 我 常 使 用 它 观察 软件 与 服务 器 的 交互 


Windows Windows Performance Toolkit 是 Windows 8 SDK 中 的 性 能 分 析 工 具 ， 可 以 详 
Performance nae 一 组 进程 的 性 能 指标 、 调 用 栈 、 调 用 耗 时 等 信息 ， 对 于 理解 进程 
Toolkitl4 。 | 性能、 进程 间 互 动 、 进 程 与 操作 系统 间 互动 很 有 帮助 


SQL Server 

Management 

Studio16 SQL Server Management Studio 是 SQL Server 数 据 库 的 管理 了 
它 查 看 被 测 应 用 的 数据 库 ， 以 理解 数据 组 织 方式 和 数据 状态 


http://msdn.microsoft.com/en-us/windows/hardware/gg463009.aspx ° 


9 关于 Windbg 的 更 多 信息 可 以 参考 Inside Windows Debugging 
(http://book.douban.com/subject/10575139/ ) 、《Windows 高 级 调试 》 
(http://book.douban.com/subject/3781532/ ) «NET 高 级 调试 》 
(http://book.douban.com/subject/5346548/ ) 和 《Windows 用 户 态 程序 高 效 排 错 
(http://www.cnblogs.com/lixiong/archive/2010/02/11/1667516.html ) 。 


HE 


) 


A http://technet.microsoft.com/en-us/sysinternals/bb896653.aspx ° 


u http://technet.microsoft.com/en-us/sysinternals/bb896645.aspx ° 


12 关于 Process Explorer 和 Process Monitor 的 更 多 信息 可 以 参考 工具 作者 Mark Russinovich 所 著 的 
Windows Sysinternals Administrator 's Reference (http://book.douban.com/subject/3794381/ ) ° 


13 http://www.fiddler2.com/fiddler2/ ° 
14 http://msdn.microsoft.com/en-us/windows/desktop/hh852363.aspx ° 


15 Inside Windows Debugging (http://book.douban.com/subject/10575139/ ) 详细 介绍 了 Windows 
Performance Toolkit 的 前 身 zperf， 对 于 理解 Windows Performance Toolkit 也 很 有 帮助 。 


16 http://www.microsoft.com/sqlserver/en/us/default.aspx ° 


在 测 程 中 ， 测 斌 人员 可 以 参考 HTSM 的 “产品 元 素 ”*"， 从 结构 、 功 能 、 数 据 、 
接口 、 平 台 、 操 作 、 时 间 等 多 方面 来 发 据 变 量 。 

。 结构 : 搜索 软件 所 使 用 的 文件 。 例 如 ， 使 用 Process Explorer 查 看 软件 

hed 哪些 文件 句柄 ， 使 用 Process Monitor 查 看 软件 曾经 访问 过 哪些 文 


。 功 能 : 过 历 用 户 界面 ， 搜 索 隐藏 的 功能 ， 分 析 功 能 型 含 的 变量 。 


。 数据 : 检查 软件 可 以 接纳 、 拥 有 、 处 理 、 输 出 哪些 数据 ， 尝 试 不 同 的 
数据 类 型 和 数据 范围 。 例 如 ， 使 用 Fiddler 查 看 软件 与 其 他 软件 的 通信 
数据 ， 使 用 SQL Server Management Studio 查 看 软件 对 数据 库 的 读 写 。 


。 O: 发 掘 软件 提供 的 接口 和 软件 使 用 的 接口 。 例 如 ， 有 些 软件 会 注 
册 一 些 操作 系统 事件 的 处 理 函 数 ， 当 操作 系统 触发 事件 时 ， 相 应 的 处 
理 函 数 会 被 执行 。 测 试 人 员 要 发 现 这 些 事件 和 处 理 函 数 。 


平台 : 探索 影响 软件 的 外 部 元 素 ， 包 括 操作 系统 、 操 作 系统 上 的 其 他 
进程 (例如 网 络 防火 墙 可 能 会 影响 网 络 程 序 的 行为 )、 与 软件 协作 的 
其 他 服务 等 。 


操作 : 检 碍 不 同 的 操作 此 又 > 使 用 方法 、 配 置 参 数 是 否 产生 了 不 同 的 
结 末 。 考 虑 用 户 的 使 用 情景 ， 发 掘 其 中 的 关键 因素 。 


。 时 间 : 搜索 与 时 间 相 关 的 变量 


o 搜索 由 时 间 点 触发 的 事件 。 例 如 ， 用 户 在 智能 手机 上 设置 了 闸 钟 
提醒 。 在 预 设 的 时 间 点 ， 手 机 操作 系统 会 弹出 提示 ， 该 提示 对 于 
当前 通话 或 当前 应 用 有 何 影 响 ? 


o 搜索 由 时 间 段 或 时 限 触 发 的 事件 。 常 见 的 例子 是 “超时 ?设置 会 中 
断 当 前 处 理 的 业务 。 


o 搜索 周 期 性 的 事件 。 例 如 每 天 、 每 月 、 每 年 会 执行 的 操作 。 考 虑 
这 些 操作 是 否 会 导致 意外 的 情况 ， 例 如 一 些 财 会 软件 会 在 每 日 堆 
E E 全 不 全 全 

问题 ? 


o 检查 是 否 存在 跨 时 区 的 业务 ， 考 虑 这 些 业务 有 哪些 关键 变量 。 


si ag a 有 些 软件 不 能 处 理 快 速 的 输 
导致 数据 丢失 


o 探索 最 长 的 计算 过 程 。 这 些 漫长 的 计算 过 程 会 伴随 着 资源 泄漏 
吗 ? 如 果 遭 遇 中 断 或 异 稼 ， 它 们 可 以 恢复 并 继续 计算 吗 ? 


有 些 变 量 对 应 了 用 户 界面 控件 ， 较 容易 发 现 ; Ae ag Oe eee 
TCA, BAR o A Re EE re OL Rate ae ee, GBH o 


操作 系统 事件 。 操 作 系 统 会 向 软件 发 送 各 种 消息 ， 软 件 需 要 合理 地 处 
理 。 例 如 ，Windows 在 关机 时 ， 会 向 应 用 发 出 WM_SHUTDOWN 消 息 。 
大 多 数 软 件 会 忽略 该 消息 ， 少 数 软 件 会 根据 该 消息 做 一 些 清理 工作 

(如 保存 数据 、 清除 临时 文件 等 ) 。 测 试 人 员 需 要 向 产品 经 理 和 程序 
员 咨 询 ， 并 做 一 些 实验 ， 以 发 现 软 件 需 要 处 理 的 操作 系统 事件 。 


设备 事件 。 在 智能 手机 等 移动 设备 上 ， 硬 件 传感器 (RAGE > BERR 
仪 、 加 速 感应 器 、 光 线 感应 器 、GPS 等 ) 会 发 出 大 量 的 信号 。 测 试 人 员 
需要 检查 移动 应 用 正确 地 处 理 了 必要 的 信号 ， 忽 略 了 无 关 的 信号 。 


中 断 事 件 。 用 户 在 使 用 软件 时 ， 操 作 系统 或 其 他 软件 可 能 中 断 当 前 情 
景 。 例 如 ， 用 户 在 使 用 智能 手机 应 用 时 ， 一 个 拨 入 的 电话 会 中 断 当 前 
应 用 。 再 例如 ， 用 户 一 边 走 一 边 使 用 移动 应 用 ， 操 作 系统 突然 提示 附 
近 有 可 用 的 Wi-Fi 热 点 ， 该 通知 也 中 断 了 当前 应 用 的 流程 。 测 试 人 员 需 
要 调查 当前 平台 可 能 触发 哪些 中 断 事 件 ， 并 将 它们 用 于 测试 。 


用 户 输入 方式 。 随 着 软 硬 件 的 发 展 ， 用 户 输入 方式 也 日 趋 多 样 : 物理 
HERLINA ` BERERA ` ARAA > ANER > ARFA ` AR 
触摸 拖 动 、 触 措 手 势 、 语 音 输入 、 手 写 输 入 等 。 测试 人 员 需 要 发 现 当 
前 平台 可 以 接收 的 输入 方式 ， 并 用 于 测试 。 


数据 类 型 。 例 如 ， 对 于 图 像 处 理 软件 ， 图 片 类 型 是 重要 的 变量 
PNG、JPG、GIF 等 不 同类 型 的 图 片 可 能 会 产生 不 同 的 结果 。 


数据 大 小 。 大 斥 才 的 数据 可 能 会 导致 性 能 问题 或 计算 错误 ， 因 此 数据 
大 小 是 一 个 重要 的 变量 。 例 如 ， 用 户 拍 摄 了 50 张 数码 相片 ， 每 张 相 片 
的 文件 大 小 是 5MB。 图片 处 理 软 件 可 以 轻松 处 理 任何 一 张 相 片 ， 但 是 
同时 处 理 50 张 相片 时 却 遭 遇 内 存 不 足 的 错误 。 以 此 类 推 ， 一 张 250MB 
的 图 片 很 可 能 导致 相似 的 错误 。 


相对 位 置 。 例 如 ， 在 队列 头 部 、 尾 部 、 中 部 插入 一 个 新 的 元 素 ， 往 往 
会 执行 不 同 的 代码 ， 而 错误 可 能 隐藏 在 某 段 特 定 的 代码 中 。 测 试 人 员 
要 去 发 现 此 类 由 相对 位 置 引 发 的 特定 操作 。 


容量 。 测 试 人 员 需 要 考虑 “容器 ”的 容量 ， 典 型 的 测试 值 是 0 个 元 素 、1 
TUR nT eB SO OMOEKEEND 例如 空 的 队 
列 、 只 有 1 个 元 素 的 队列 、 容 量 耗 尽 的 队列 、 空 的 图 文 框 、 包 含 1 个 巍 
套图 文 框 的 图 文 框 、 包 括 9 级 霸 套 的 图 文 杠 、 不 弹出 确认 对 话 框 、 弹 出 
1 个 确认 对 话 框 、 弹 出 9 个 确认 对 话 框 。 这 些 变 化 的 数值 暗示 了 软件 的 
不 同 处 理 方式 ， 值 得 测试 人 员 进 一 步 探索 。 


。 本 地 化 和 国际 化 。 许 多 操作 系统 允许 用 户 更 改 系统 的 地 区 ， 这 通常 意 
味 着 字符 集 、 时 间 格 式 、 货 币 格 式 等 基本 数据 格式 的 改变 。 许 多 软件 
允许 用 户 更 改 界面 语言 ， 这 通常 意味 着 界面 字符 串 的 长 度 、 方 向 、 
式 的 改变 ， 有 些 软件 还 会 加 载 新 语言 的 字典 文件 。 测 试 人 员 需 要 检查 
软件 能 够 处 理 这 些 基本 数据 的 变化 。 


。 时间 “。 测 试 人 员 需 要 考察 特殊 的 时 间 点 、 特 殊 的 时 间 长 度 、 周 期 性 的 
事件 、 涉 及 多 个 时 区 的 业务 、 输 入 的 速度 、 计 算 的 耗 时 等 。 


构建 IO 模型 有 助 于 测试 人 员 更 好 地 理解 被 测 对 象 ， 更 目 如 地 操控 ， 更 全 面 
地 观察 ， 更 好 地 设计 测试 。 通 党， 发 现 重 要 的 变量 ， 相 应 的 测试 想法 就 会 
目 然 浮 现 。 反 之 ， 未 发现 重要 的 变量 ,测试 设计 整 会 存在 漏洞 ， 有 可 能 错 
过 重要 的 缺陷 。 


4.2.3 “系统 生态 图 


在 测试 一 个 较 复杂 的 软件 系统 时 ， 测 试 人 员 需 要 分 析 系 统 的 内 部 结构 、 外 
部 依赖 和 访问 接口 。 测 试 专家 Elisabeth Hendrickson 建 议 测试 人 员 绘 制 一 幅 
图 来 描述 系统 的 生态 环境 ， 它 综合 了 传统 的 语 境 图 和 部 署 图 ， 可 以 帮助 测 
人 员 系 统 性 地 探索 整个 系统 [Hendrickson13]。 我 将 这 样 的 图 称 为 系统 生态 


。 语 境 图 描述 系统 如 何 与 外 部 环境 联系 ， 展 示 了 系统 的 用 户 、 接 口 和 外 
部 依赖 〈 如 数据 源 、 协 作 进程 、 支 撑 服 务 等 ) 。 


部 车 图 摘 述 组 成 系统 的 子 系统 或 模块 ， 包 括 数 据 库 、 服 务 进程 、 可 执 
行程 序 等 。 


图 4-10 是 一 张 我 手绘 的 系统 生态 网 ， 描 述 了 一 个 我 测试 过 的 报表 系统 。 


从 语 境 图 的 角度 ， 图 4-10 的 虚线 框 描述 了 报表 系统 的 边界 。 系 统 分 成 
两 部 分 ， 左 侧 部 分 是 一 个 Silverlight 以 用， 实际 用 户 通 过 该 Silverlight 尽 
用 访问 报表 数据 ， 右 侧 部 分 是 系统 的 后 台 ， 由 系统 管理 员 探 制 。 除 了 
系统 边界 和 用 户 ， 图 的 右上 角 还 呈现 了 系统 所 依赖 的 外 部 数据 源 。 


从 部 署 图 的 角度 ， 图 4-10 描 述 了 系统 的 组 成 部 分 。 这 是 一 个 “客户 端 一 
服务 句 ” 染 构 的 系统 。 在 客户 端 ， 一 个 运行 在 下 中 的 Silverlight 习 用 从 服 
务 闪 获得 数据 ， 并 绘制 报表 。 在 服务 端 ， 一 个 同步 工具 将 外 部 数据 源 
的 数据 转 储 在 报表 数据 库 中 。 一 个 Windows 服 务 将 读 取 数据 库 ， 并 提供 
基于 WCF 技 术 的 数据 访问 服务 。 一 个 1IS 网 站 调用 该 数据 访问 服务 ， 把 
获得 的 报表 数据 传递 给 客户 端的 Silverlight 必 用 。 
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图 4-10 一 个 报表 系统 的 系统 生态 图 


制作 系统 生态 图 的 时 机 一 般 是 在 系统 设计 完成 的 时 候 。 测 试 人 员 可 以 将 该 
图 作为 评审 设计 规格 说 明 的 “ 课 后 作业 ”， 通 过 绘制 测试 视角 的 模型 来 理解 
系统 设计 。 他 可 以 从 实际 用 户 接触 的 组 件 开 始 ， 逐 渐 画 出 整个 系统 ， 也 可 
以 从 最 重要 的 模块 开始 ， 逐 渐 衍 生出 其 他 模块 。 最 初 的 系统 生态 图 无 需 退 
求 细致 ， 只 要 涵盖 整个 系统 即 可 。 测 试 人 员 可 以 随 着 项 目 进 展 对 它 进行 修 
iJ ° 


关于 绘制 方式 ， 我 倾向 于 用 纸 笔 绘制 系统 生态 图 ， 因 为 手绘 有 几 个 优势 。 
第 一 ， 手 工 绘制 的 速度 超过 使 用 作 图 软件 ， 我 只 需 儿 分 钟 的 时 间 吉 可 以 画 


果 。 在 讨论 过 程 中 ， 我 们 可 以 快速 地 将 新 的 想法 补充 到 图 上 。 纸 和 笔 提供 
了 一 个 目 然 的 协作 平台 。 


手工 绘制 的 主要 缺点 在 于 不 易 存 档 。 为 此 ， 我 准备 了 一 个 文件 夹 ， 专 门 存 
放手 工 绘制 的 各 种 图 纸 。 如 果 需 要 长 期 保存 ， 我 会 用 智能 手机 拍摄 图 纸 的 
照片 ， 将 照片 保存 在 电子 的 测试 笔记 中 。 以 我 的 经 验 ， 大 部 分 图 纸 服务 于 
短期 任务 ， 无 需 电 子 存 档 ， 只 有 少量 的 重要 图 纸 需 要 电子 化 。 


手工 绘制 的 男 一 个 缺点 是 不 易于 修改 。 对 于 细 市 的 修改 尚 可 以 在 原 图 上 涂 
改 ， 但 是 大 规模 的 修订 就 只 能 重 绘 。 对 此 ， 我 有 两 个 应 对 方法 。 第 一 ， 对 
于 重大 修改 ， 我 会 重新 绘制 模型 。 绘 制 一 幅 图 只 要 几 分 钟 的 时 间 ， 开 销 很 
低 。 更 重要 的 是 ， 重 绘 不 是 摘 摹 原 图 ， 而 是 重新 思考 产品 、 建 构 更 好 模型 
的 过 程 。 舍 弃 原 有 模型 表达 ， 花 一 些 时 间 去 构思 新 的 形式 ， 往 往 会 显著 提 


升 模型 的 质量 。 第 二 ， 对 于 复杂 、 经 常 改动 、 或 需要 正式 评审 的 图 形 ， 我 
会 完 手 工作 图 ， 当 模型 比较 稳定 后 ， 表 使 用 软件 工具 绘图 。 


在 获得 系统 生态 图 之 后 ， 测 试 人 员 可 以 用 它 指 导 测 试 设计 。 一 种 测试 设计 
思路 是 关注 系统 的 边界 ， 检 查 系统 的 使 用 阁 和 外 部 依赖 对 系统 的 影响 。 对 
于 图 4-10， 测试 人 员 可 以 考虑 如 下 方面 。 


。 针对 同步 工具 从 外 部 数据 源 导 入 数据 。 常 见 的 测试 想法 包括 : 如 果 数 
据 源 暂时 不 可 访问 ， 会 如 何 ? 如 末 数 据 源 提供 空 的 数据 集 ， 会 如 何 ? 
如 琳 数 据 源 提供 海量 的 数据 ， 会 如 何 ? 如 果 数 据 产 提供 不 符合 预期 格 
式 的 数据 ， 会 如 何 ? 如 果 数 据 兰 提供 语义 错误 的 数据 ， 会 如 何 ? 


针对 实际 用 户 访问 的 Silverlight 应 用 。 常 见 的 测试 想法 包括 : 

Silverlight 应 用 对 用 户 的 计算 机 有 什么 要 求 ? Silverlight 必 用 的 错误 会 不 

a 户 的 计算 机 ? 用 户 能 否 绕 开 权限 控制 ， 看 到 他 不 应 该 看 到 的 
? 


针对 客户 端 (Silverlight 应 用 ) 和 服务 端 (网 站 、Windows 服 务 、 数 据 
E) 的 数据 传输 。 常 见 的 测试 想法 包括 : 如 果 客 户 端 提交 错误 的 数 
据 ， 服 务 端 如 何 处 理 ? 如 有 果 服 务 端 提供 错误 的 报表 ， 客 户 端 如 何 处 
E? 如 果 多 个 用 户 同时 访问 ， 大 量 的 并 发 客户 端 会 不 会 导致 性 能 问 
题 ? 如 果 服 务 端 暂时 不 可 访问 或 反应 迟缓 ， 客 户 端 如 何 回 用户 报 告 ? 


以 上 所 列 只 古 可 行 测试 想法 的 一 小 部 分 。 测 试 人 员 可 以 深入 分 析 系 统 特 
点 ， 产 生 更 多 的 测试 想法 。 其 中 ， 一 个 有 帮助 的 思考 方法 是 条 件 分 析 ， 即 
不 停 地 询问 <“ 如果 发 生 .……， 会 如 何 ? ”通过 构思 可 能 发 生 的 各 种 情况 ， 测 
试 人 员 能 够 检查 系统 对 于 复杂 情景 的 应 对 能 力 。 


对 于 系统 生态 图 ， 另 一 种 测试 思路 是 根据 组 件 所 使 用 的 技术 ， 构 思 相 应 的 
a i 测试 人 员 根 据 图 4-10 所 列举 的 技术 ， 可 获得 如 下 测试 想 
IF 0 


。 Silverlight 应 用 通过 异步 通信 与 服务 端 通信 。 如 有 果 用 户 连续 点 击 控 件 ， 
客户 端 会 癌 服 务 端 发 送 多 个 间 隅 很 短 的 请 求 ， 服 务 冰 如 何 处 理 这 些 接 
近 * 并 发 ”的 请 求 ? 如 采 服 务 端 密集 返回 多 个 啊 应 ， 客 户 端 如 何 处 理 这 
些 接近 * 并 发 ”的 啊 应 ? 如 采 服 务 端 返回 的 啊 应 不 符合 请 求 的 顺序 ， 客 
户 病 如 何 处 理 ? 


。 服务 端的 网 站 和 Web 服 务 使 用 WCF 技 术 。WCF 的 默认 配置 对 所 传输 数 
据 的 长 度 有 较 挛 格 的 限制 。 那 么 ， 被 测 系统 使 用 了 何 种 WCF 配 置 ? 该 


配置 对 数据 传输 的 限制 是 多 少 ? 能 否 构造 一 个 大 型 报表 ， 使 其 数据 长 
度 超 过 当前 限制 ? 

同步 工具 和 Windows 服 务 可 能 同时 访问 数据 库 。 当 同步 工具 写 入 数据 
时 ，Windows 服 务 会 不 会 读 到 “ 脏 数 据 "， 以 至 于 生成 错误 的 报表 ? WR 
同步 工具 写 入 数据 时 会 锁 住 表格 ，Windows 服 务 会 不 会 被 阻塞 ， 以 至 于 
实际 用 户 体验 到 性 能 问题 ? 如 果 Windows 服 务 读 取 数 据 时 会 锁 住 表格 ， 
同步 工具 会 不 会 被 阻 塞 ， 以 至 于 遇 到 数据 库 超时 的 错误 ? 


以 上 所 列 仍旧 是 可 行 测试 想法 的 一 小 部 分 。 测 试 人 员 需 要 了 解 实现 技术 的 
等 征 和 篆 见 问题 ， 才 能 全 面 思考 ， 构 思 出 有 针对 性 的 测试 。 


此 外 ， 测 试 专家 Michael Bolton 和 James Bach 针 对 部 署 图 ， 提 出 了 一 批 测 试 
指导 词 ， 对 于 测试 设计 有 很 高 的 参考 价值 [Bolton09a]。 其 基本 元 素 是 斑点 、 
组 件 和 路 径 。 
节点 是 系统 的 组 件 ， 是 测试 设计 的 基本 对 象 。 

。 缺失 和 退出 : 如 果 组 件 退出 ， 系 统 会 如 何 ? 

© 额外 和 干扰 : 如 果 出 现 额外 的 组 件 或 组 件 发 出 干扰 ， 系 统 会 如 何 ? 

。 错误 : 组 件 会 发 生 哪 些 错误 ? 如 果 组 件 出 错 ， 系 统 会 如 何 ? 


。 时间 和 顺序 : 考虑 时 间 、 时 序 、 时 长 、 时 限 、 速 度 、 频 率 等 时 间 因 素 
对 组 件 的 影响 。 


。 内 容 与 算法 ， 考 虑 组 件 容纳 的 数据 和 使 用 的 算法 。 
。 条 件 行为 ， 在 不 同 的 条 件 下 ， 考 察 组 件 的 行为 。 
。 局 限 :组件 有 什么 业务 和 技术 局 限 ? 这 些 局 限 对 系统 有 何 影响 ? 


。 错误 处 理 : 组 件 如 何 发 现 并 处 理 自 身 的 错误 ? 如 何 发 现 并 处 理 来 自 其 
他 组 件 的 错误 ? 


线条 连接 了 组 件 。 测 试 人 员 需 要 针对 组 件 之 间 的 通信 设计 测试 。 
。 缺失 和 退出 : 如 果 组 件 间 的 通信 中 断 ， 系 统 会 如 何 ? 
© 额外 和 分 支 : 能 和 否 建立 额外 的 通信 渠道 ? 


。 错误 : 组 件 间 的 通信 会 发 生 哪些 错误 ”如 果 通 信 出 错 ， 系 统 会 如 何 ? 


。 了 时 间 和 顺序 : 考虑 时 间 、 时 序 、 时 长 、 时 限 、 速 度 、 频 率 等 时 间 因 素 
对 通信 的 影响 。 


。 状态 通信 : 组 件 之 间 如 何 传播 或 同步 彼此 的 状态 ? 
。 数据 结构 : 通信 使 用 何 种 数据 结构 、 数 据 格式 、 数 据 类 型 ? 


路 径 是 线条 构成 的 通路 。 测 试 人 员 需 要 针对 图 中 的 路 径 (通常 对 应 为 数据 
传播 路 径 或 工作 流 ) 设计 测试 。 


。 最 简 的 : 设计 连接 组 件 的 最 简单 路 径 。 
。 常用 的 : 考虑 用 户 使 用 系统 的 常见 路 径 。 


。 关键 的 : 考虑 完成 业务 的 关键 路 径 ， 例 如 完成 某 项 业务 有 几 条 可 行路 
径 ， 关 键 路 径 不 包含 或 只 包 舍 最 少 的 非 必 经 节点 。 


复杂 的 : 考虑 复杂 的 数据 流 和 工作 流 对 系统 的 影响 。 


病态 的 : 考虑 可 能 的 病态 路 径 ， 例 如 恶意 数据 在 系统 内 传播 的 感染 路 
径 ， 又 例如 由 于 错误 操作 导致 的 异 贡 工作 流 。 


挑战 的 : 考虑 对 系统 而 言 有 挑战 性 的 路 径 ， 例 如 伴随 超 高 负荷 运算 的 
工作 流 。 

。 错误 处 理 : 系统 能 否 发 现 并 处 理 数据 流 和 工作 流 中 的 错误 ? 

。 周期 的 : 考虑 周期 的 、 定 期 的 、 间 歇 的 事件 对 路 径 的 影响 。 


在 测试 指导 词 的 基础 上 ，Michael Bolton 利 用 部 署 图 和 测 程 来 组 织 测 试 
[Bolton12]。 例 如 ， 项 目 时 间 人 允许 执行 40 个 测 程 。 为 了 更 好 地 安排 测 程 ， 他 
在 日 板 上 画 了 如 图 4-11 所 示 的 部 车 图 ， 并 拟定 了 6 个 主要 的 测试 策略 .观察 
并 建立 测试 先知 、 控 制 /变化 /改变 、 强 制 失败 、 利 用 工具 探索 、 探 索 数 据 或 
对 象 、 探 索 活 动 。 这 些 测试 策略 将 覆 斑 产品 的 不 同方 面 。 


图 4-11 部 署 图 和 测试 策略 


然后 ， 他 组 织 测试 小 组 一 起 评审 部 署 图 。 他 们 用 即时 贴 代表 测 程 ， 在 一 张 
即时 贴 上 写 下 简单 的 主题 词 ， 然 后 贴 到 一 个 节点 或 线条 上 。 因 为 即时 贴 是 
有 限 的 ， 测 试 小 组 在 张贴 过 程 中 ， 要 平衡 不 同 测试 策略 的 数量 ， 要 平衡 在 
不 同 节点 和 线条 上 的 测 程 。 当 贴 完 40 张 即时 贴 时 ， 测 试 安排 就 自然 结束 。 
如 图 4-12 所 示 ， 测 试 小 组 获得 了 一 个 覆盖 整个 系统 的 测试 方案 。 


在 分 配 测 程 时 ， 测 试 小 组 要 考察 部 署 图 的 完整 性 。 任 何 模型 都 是 对 产品 的 
人 简化， 所 以 它 会 省 略 一 些 内 容 。 如 采 部 署 图 遗漏 了 某 个 节点 或 线条 ， 那 么 
测试 安排 就 会 产生 漏洞 。 为 此 ， 测 试 人 员 要 不 停 地 自问: 这 幅 图 缺少 了 什 
A? 现 有 测 程 和 测试 策略 是 否 覆 盖 了 整个 系统 ? 


由 本 节 的 讨论 不 难看 出 ， 系 统 生态 图 综合 了 黑 盒 分 析 和 白 盒 分 析 。 在 黑 盒 
层面 ， 它 列举 了 软件 系统 的 用 户 和 外 部 依赖 ， 让 测试 人 员 思 考 系 统 的 边界 
和 接口 。 在 日 使 层 面 ， 它 呈现 了 系统 的 主要 组 件 和 组 件 之 间 的 联系 ， 让 测 
试 人 员 可 以 分 析 整 个 系统 的 运作 。 因 此 ， 创 建 系统 生态 图 有 助 于 测试 人 员 
从 整体 上 把 握 产 品 ， 并 设计 多 样 化 的 测试 想法 。 
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42.4 ”实体 关系 模型 


实体 天 系 模型 (Entity-Relationship model，ER 模 型 ) 是 一 种 数据 库 建 模 方 
法 ， 由 计算 机 科学 家 陈 品 山 (Peter Pin-Shan Chen) 于 1976 年 提出 
[WikipediaERM12]。ER 模 型 被 广泛 地 用 于 关系 型 数据 库 的 分 析 与 设计 ， 并 
被 推广 到 普通 软件 的 数据 分 析 。 


图 4-13 是 一 个 简化 的 在 线 交 易 系统 的 ER 模型 。 其 中 ， 长 方形 节点 是 实体 ， 
代表 系统 中 的 一 类 数据 ， 委 形 节点 是 关系， 反映 了 实体 之 间 的 关联。 


图 4-13 ”在线 交易 系统 的 ER 模型 


。 通常 ， 实 体 是 系统 中 的 “名 词 ?， 代 表 了 业务 领域 的 一 类 对 象 ， 这 些 对 
象 拥有 独立 的 含义 和 可 被 识别 的 标识 。 例 如 ， 在 线 交 易 系统 中 ,三 
商 、 商 品 、 订 单 、 严 家 等 实体 拥有 明确 的 合 义 、 属 性 和 标识 ， 是 构成 
交易 的 基本 元 素 。 实 体 的 属性 是 实体 的 数据 ， 例 如 “厂商 ”会 拥有 厂商 
编号 、 厂 商 名 、 联 系 人 、 地 址 、 电 话 等 属性 。 


关系 往往 体现 为 “动词 >”， 联 系 了 两 个 或 多 个 实体 。 例 如 ， 关 系 “ 提 

供 ? 束 反应 了 “厂商 ?对 “商品 ”的 供应 关系。 在 关系 “提供 ”的 两 条 连 线 上 
标注 了 实体 间 的 数据 联系 : “J 商 是 1， 商 品 是 N"， 代 表 一 位 厂商 可 以 
提供 多 种 商品 ， 即 厂商 与 商品 是 “一 对 多 ”关系 。“ 商 一 提供 一 商品 一 
购买 一 订单 "连接 了 厂商 和 订单 。 因 为 一 位 厂商 可 以 向 多 份 订单 供 
货 ， 一 份 订单 可 以 包含 来 自 多 位 厂商 的 商品 ， 所 以 厂商 与 订单 构成 

了 “多 对 多 ”关系 。 关 系 也 拥有 属性 ， 例 如 “购买 天 系 的 属性 包含 商品 的 
售 出 价格 、 税 值 等 。 


从 墨盒 测试 的 角度 ， 测 试 人 员 可 以 使 用 ER 模型 来 建立 软件 的 数据 模型 。 他 
分 析 业 务 文档 ， 识 别 出 业 务 对 象 ， 将 它们 抽象 为 实体 。 他 还 可 以 分 配 一 个 
测 程 ， 其 主题 为 利用 严 家 的 用 户 界 面 ， 探 索 购物 流程 ， 以 获得 天 家 相关 的 
即 通过 测试 来 创建 ER 模型 。 以 下 是 一 些 识别 实体 和 属性 的 技 

ID o 


。 在 web 应 用 中 ， 一 张 表 单 往 往 对 应 了 一 个 实体 ， 表 单 的 字段 对 应 了 实 
体 的 属性 - 例如 ， 用 户 注 册 表 单 对 应 了 “用 户 ”* 实 体 ， 需 要 填写 的 注册 
恩 对 应 了 用 户 属性 。 叉 例如， 订单 确认 页 面 上 暗示 了 “订单 ”是 一 个 实 
体 ， 页 面 上 的 金额 、 下 单 时 间 、 支 付 方式 等 信息 征订 单 的 属性 * 此 
外 ， 订 单 页 面包 含 指 向 商品 的 链接 ， 瞳 示 了 “订单 2 与 “商品 ”之 间 存 
在 “购买 ”关系 。 


设置 对 话 框 常常 呈现 了 一 个 实体 拥有 的 属性 。 例 如 ， 图 4-3 展 示 了 
PowerPoint 对 图 片 阴影 的 设置 对 话 框 ， 它 表明 图 片 是 一 个 实体 ， 并 上 暗示 
gee i 而 颜色 、 透 明度 、 大 小 等 具体 设置 是 阴影 的 属 


7 些 软件 或 服务 用 对 象 模型 、Web 服 务 等 方式 提供 了 编程 接口 。 
， 一 个 类 型 钊 并 对 应 一 个 实体 ， 类 型 的 学 必 或 从 性 对 应 了 实体 的 
te 类 型 之 间 的 聚合 关系 往往 暗示 了 ER 模型 的 关系 。 


在 测 程 中 ， 测 试 人 员 可 以 用 简化 的 ER 模型 图 来 记录 建 模 结果 。 例如， 图 4- 
4 时 一 个 简化 的 ER 模型 图 ， 它 用 连 线 来 表达 关系 ， 只 对 重要 的 关系 祭 注 了 
合 。 


ti 


图 4-14 简化 的 在 线 交 易 系统 的 ER 模型 


从 日 盒 测 试 的 角度 ， 测 试 人 员 可 以 分 析 产 品 数据 库 (如 图 4-15 所 示 ) 来 建立 
ER 模型 。 通 常 ， 一 张 表 对 应 一 个 实体 ， 外 键 定义 了 实体 之 间 的 关系 。 


Customer 表 对 应 “用 户 ” 实 体 ，Order 对 应 “订单 "实体 ， 由 Order 到 Customer 的 
外 键 对 应 了 “拥有 ”天 系 。Purchase 是 一 张 关联 表 ， 它 体现 了 Order 与 Product 
的 “多 对 多 ”关系 ， 反 映 了 “购买 > 关系 。 


Provider Customer 
时 ProvideriD g CustomerlD 
Name Name 
kO | 
Product Purchase Po 一 所 Order 
9 ProductiD Q OrderiD Q OrderiD 
Name @ ProductiD CustomerlD 
ProvideriD 


图 4-15 ”在线 交易 系统 的 数据 库 设 计 


在 获得 ER 模型 之 后 ， 测 试 人 员 可 以 综合 使 用 CRUD (Create, Read, 
Update, Delete) [Hendrickson13]、 出 租车 漫游 、 快 递 漫 游 、 沙 发 土豆 漫游 
[Whittaker09] 等 手段 来 实施 测试 。 


CRUD 束 是 对 实体 、 关 系 和 属性 进行 创建 、 读 取 、 更 新 和 删除 操作 ， 是 所 有 
数据 测试 的 基本 步 络 。 围 绕 这 些 操作 ， 测 试 人 员 可 以 构思 出 多 样 的 测试 想 
法 。 以 下 是 一 些 可 能 的 策略 。 


。 沙发 土豆 漫游 。“ 沙 发 土豆 ”是 一 句 美 国 但 语 ， 比 喻 一 个 人 很 懒 ， 整 天 
陷 在 沙发 里 看 电视 。James Whittaker 以 此 为 隐喻 ， 提 出 了 沙发 土豆 漫 
游 。 运 用 该 漫游 测试 时 ， 测 试 人 员 总 是 不 修改 软件 提供 的 默认 值 ， 只 
是 不 停 地 点 击 “ 下 一 步 * 让 软件 处 理 它 给 出 的 默认 值 。 有 时 ， 软 件 的 用 
户 界面 和 后 台 计 算是 不 同 的 程序 员 编写 的 ， 他 们 可 能 使 用 不 同 的 逻辑 
去 检查 数值 的 合法 性 ， 因 此 用 户 界 面 上 给 出 的 默认 值 有 可 能 是 后 台 计 


算 不 能 处 理 的 非法 值 。 此 外 ， 沙 发 土豆 淄 游 还 可 以 发 现 一 些 软 件 应 该 
ae (以 减少 用 户 的 输入 负担 ) ， 但 是 没有 给 出 默认 值 的 情 
Wi ° 


测试 人 员 还 可 以 装 成 另 一 种 “沙发 土豆 ”一 一 拒 不 提供 数值 。 例 如 ， 网 

页 表单 给 出 了 一 批 字段 的 默认 值 ， 测 试 人 员 删 除 其 中 一 些 默 认 值 ， 然 

后 提交 表单 。 面 对 这 种 情况 ， 不 同 的 实现 有 不 同 的 做 法 : FENNE 
今 碍 字段 的 数值 ， 并 报告 数值 缺失 的 错误 ， 有 些 后 台 服 务 句 会 检 

户 提交 的 数值 ， 并 报告 错误 ， 有 些 后 台 服 务 器 会 使 用 它 认为 的 默认 什 
(也 许 与 网 页 显示 的 默认 值 不 同 ) 。 根 据 网 页 的 实际 表现 ， 测 斌 人员 

可 以 再 设计 新 的 测试 。 


对 于 实体 和 关系 的 属性 ， 测 试 人 员 需 要 测试 非法 值 和 极限 值 。 例 如 ， 
图 4-3 展 示 了 PowerPoint 对 图 片 阴 影 的 设置 。 测 试 人 员 需 要 针对 每 个 欣 
件 〈 阴 影 的 属性 ) 测试 非法 值 和 极限 值 。 


有 时 ， 实 体 的 属性 对 于 某 些 模块 是 合法 的 ， 对 于 另 一 些 模块 却 会 导致 
错误 。 例 如 ， 在 图 4-3 所 示 的 对 话 框 中 ， 测 试 人 员 设置 了 一 些 阴 影 属 性 
的 极限 值 (如 将 “模糊 ” 设 为 0 磅 ) 。 此 时 ，PowerPoint 能 正确 绘制 阴 
影 。 随 后 ， 测 试 人 员 将 幻灯 片 男 存 为 PDF 文 档 ， 却 发 现 所 生成 的 文档 不 
能 正确 显示 阴影 。 为 了 发 现 这 种 错误 ， 测 试 人 员 需 要 考虑 快递 漫游 。 
快递 漫游 的 隐喻 是 快递 人 员 会 携带 着 贷 物 罕 越 万 水 千 山 、 城 市 乡村 、 
KEDE o LHE, 漫游 测试 要 求 测试 人 员 随 者 数据 游历 整个 系统 ， 
跟着 实体 进入 系统 的 不 同 部 分 ， 并 在 各 处 调用 CRUD 。 


软件 可 能 提供 了 多 种 方式 来 修改 实体 、 关 系 和 属性 。 例 如 ， 用 户 可 以 
用 如 图 4-3 所 示 的 PowerPoint 对 话 框 来 修改 图 片 的 阴影 效果 ， 还 可 以 编 
写 宏 ， 用 代码 来 修改 图 片 阴 影 。 为 了 保证 测试 履 盖 ， 测 试 人 员 需 要 考 
虑 出 租车 漫游 。 出 租车 漫游 的 隐喻 是 出 租车 司机 对 城市 交通 非常 了 
解 ， 他 可 以 想 出 很 多 路 线 到 达 目 的 地 ， 而 漫游 测试 需要 履 盖 所 有 这 些 
路 线 。 对 于 复杂 的 软件 ， 测 试 人 员 需 要 多 方面 调查 功能 的 接口 ， 穷 尽 
所 有 的 接口 来 调用 CRUD © 


除了 以 上 测试 策略 ， 测 试 人 员 还 要 是 考察 CRUD 对 ER 模型 的 影响 。 最 常用 
的 启发 式 方法 是 通过 CRUD 去 制造 * 零 个 、 一 个 、 多 个 ， ' 实 体 的 情况 
[Hendrickson13] ° 以 下 是 一 站 常见 的 启发 式 问题 。 


。 能 否 创 建 一 个 没有 依赖 的 实体 ? 在 如 图 4-13 所 示 的 在 线 交 易 系 统 中 ， 
通过 注册 新 天 家 可 以 创建 一 个 没有 订单 的 买 家 。 ABA. 可 以 创建 一 个 
没有 买 家 的 订单 吗 ? 可 以 多 创建 一 个 买 家 ， 让 他 下 一 笔 订单 ， 再 删除 
ARR, MMA APA IS? 合理 的 数据 库 设 计 可 以 禁止 没 


有 用 户 的 订单 ， 不 过 测试 人 员 不 能 假定 数据 库 设 计 正确 。 此 外 ， 软 件 
的 一 些 模块 也 许 会 短暂 地 使 用 这 样 的 订单 ， 这 种 “非法 " 且 “ 临 时 ?状态 的 
订单 会 遗漏 到 其 他 模块 并 导致 系统 出 错 吗 ? 测试 人 员 可 以 使 用 出 租车 
漫游 和 快递 漫游 去 调查 。 


能 否 删 除 一 个 有 依赖 的 实体 ? 在 图 4-13 的 ER 模型 中 ， 如 果 删 除 一 个 有 
订单 的 买 家 会 发 生 什 么 ? 系统 是 禁止 删除 有 订单 的 买 家 ， 还 是 会 级 联 
删除 该 买 家 拥有 的 订单 ? 如 果 订 单 已 经 付款 且 没 有 交 货 ， 级 联 删 除 订 
单 会 不 会 导致 无 法 交 货 ? 如 果 一 家 厂商 退出 市 场 ， 但 是 它 的 一 批 货物 
仍旧 保存 在 电子 商城 的 配送 中 心 (电子 商城 已 经 为 这 批 货 付款 ) ， 那 
么 该 如 何 处 理 ? 能 否 删 除 该 厂商 ?如果 删除 厂商 会 导致 相关 产品 被 级 
联 删 除 ， 那 么 电子 商城 还 能 否 继续 销售 这 篇 存货 ?这 些 问题 看 似 极 
端 ， 但 是 现实 世界 的 电子 交易 比 图 4-13 的 ER 模型 要 复杂 得 多 ， 会 遇 到 
更 多 的 难题 。 测 试 人 员 需 要 从 买 家 、 厂 商 、 电 子 商城 等 不 同 用 户 的 角 
度 考 虑 可 能 的 业务 流程 。 


能 否 改变 实体 之 间 的 关系 ? 例如， 电子 商城 通过 快递 公司 发 货 给 买 家 
A。 货 在 途中 时 ， 买 家 A 同 电 子 丙 城 报告 ， 这 笔 交 易 是 有 人 盗用 其 账户 
所 为 ， 要 求 撤 单 。 此 时 ， 电 子 商城 能 否 要 求 快递 公司 停止 向 买 家 A 送 

货 ， 转 而 将 该 货品 送 给 邦 一 位 购买 相同 商品 的 严 家 B? 如 琳 这 在 业务 上 
征 可 行 的 ， 那 么 软件 系统 如 何 文 持 这 笔 修 改 ?” 如 何 修改 商品 、 订 单 、 

买 家 之 间 的 联系 ? 


综 上 所 述 ，ER 模 型 用 简练 的 岁 形 描述 了 软件 系统 的 数据 关系 ， 帮 助 测试 人 
员 概 览 业务 模型 (REWA) 或 实现 模型 (HEMA) 。 利 用 该 模型 和 相 
天 测试 方法 ， 测 试 人 员 可 以 构造 出 有 力 的 操作 和 流程 去 挑战 软件 系统 。 


4.2.5 “状态 机 模型 
状态 机 (state machine) 是 一 种 常见 的 软件 建 模 方法 ， 被 广泛 地 应 用 于 软件 


分 析 、 设 计 、 开 发 与 测试 ， 并 且 是 基于 模型 的 测试 ” 的 重要 技术 之 一 
[WikipediaMBT12] ° 
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É 
、 形式 化 系统 等 数学 模型 ， 然 后 利用 可 执行 路 径 
AF. T 类 
测试 。 除 本 名 之 儿 


“基于 模型 的 测试 "是 指 测试 人 员 建立 软件 的 


式 化 模型 ， 通 
搜索 、 定 理 证 
执行 测试 或 检查 软件 模型 。 这 是 一 类 基于 形式 化 模型 的 


8 是 有 限 状 态 自 动机 、 马 尔 可 夫 
晶 、 符 号 执行 、 模 型 检查 等 算法 ， 
自动 化 测试 技术 ， 是 “狭义 ”的 基于 模 
， 本 章 讨论 的 是 “广义 ”的 基于 模型 的 测试 ， 即 利用 软件 的 模型 (可 以 是 形式 
型 ， 也 可 以 是 非 形式 化 模型 ) ， 进 行 测试 设计 。 本 章 的 讨论 偏向 人 工 设计 测试 想法 ， 但 并 不 排 
自动 化 算法 来 实施 测试 。 我 建议 读 考 在 与 其 他 人 讨论 * 基 于 模型 的 测试 "时 ， 要 了 解 对 方 所 说 
“狭义 "概念 还 是 广义" 概念， 这 有 助 于 掌握 语 境 ， 避 免 误 解 。 
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3.2.7 太 介绍 了 一 篇 Windows 8 应 用 的 测试 指南 ， 该 文档 以 应 用 的 状态 为 核 
心 ， 介绍 了 相关 知识 和 测试 要 点 。 图 4-16 是 从 操作 系统 的 角度 考察 应 用 状态 
所 获得 的 状态 图 [Hilo12]， 其 图 元 的 含义 如 下 。 


节点 代 表 Windows 8 应 用 的 状态 ， 包 括 从 未 和 运行、 不 在 运行 、 被 用 户头 
闭 、 运 行 、 已 挂 起 和 已 终止 。 


线条 代表 变迁 ， 其 起 点 是 变迁 的 源 状 态 ， 终 点 是 目标 状态 ， 线 条 上 的 
文字 是 变迁 的 触发 事件 。 例 如 ， 当 用 户 从 当前 应 用 切换 到 开始 屏幕 
时 ， 操 作 系统 同 处 于 “运行 ?状态 的 应 用 触发 <“ 挂 起 ”事件 ， 并 在 5 秒 后 将 
其 置 于 “已 挂 起 ”状态 。 


应 用 安装 、 用 户 登 录 
或 操作 系统 重启 


激活 (恢复 ) 


图 4-16 Windows 8 应 用 的 状态 图 
在 获得 状态 图 之 后 ， 测 试 人 员 可 以 从 以 下 角度 设计 测试 用 例 。 


。 设计 测试 用 例 以 覆盖 所 有 状态 。 对 于 图 4-16， 测 试 人 员 应 该 操作 被 测 
应 用 ， 使 它 抵达 所 有 状态 节点 : 从 未 运行 、 不 在 运行 、 被 用 户 关 闭 、 
运行 、 已 挂 起 、 已 终止 。 


设计 测试 用 例 以 覆盖 所 有 状态 变迁 。 对 于 图 4-16， 测 试 人 员 应 该 操作 
被 测 应 用 ， 使 它 经 过 所 有 变迁 线条 。 例 如 ， 当 应 用 处 于 “运行 ”状态 

BY, MRA ra ERE Windows, ASHES E las PRA E EMH 
EASIER EER AGS, AA ERIE “运行 状态 ”已 挂 起 " 状 


IOS 


。 设 计 测 试用 例 以 覆盖 所 有 触发 事件 。 有 些 变迁 可 以 被 多 个 触发 事件 激 
£, 测试 人 员 应 该 测试 所 有 的 触发 事件 。 例 如 ， 为 了 禾 新 “ 挂 起 ”变迁 
(“运行 ”状态 =-“ 已 挂 起 ”状态 ) 的 触发 事件 ， 测 试 人 员 可 以 测试 : 从 被 
测 应 用 切换 到 Windows 桌 面 、 从 被 测 应 用 切换 到 Windows 开 始 屏 幕 、 从 
被 测 应 用 切换 到 其 他 Windows 8 应 用 、 合 上 笔记 本 电脑 〈 或 按 下 
Windows 平 板 上 的 开机 键 ) 令 计 算 机 休眠 等 。 


在 许多 软件 中 ， 对 和 象 的 状态 是 显而易见 的 。 例 如 ， 经 党 在 线 购物 的 用 户 都 
了 解 订 单 具备 尚未 提交 、 已 提交 未 确认 、 已 确认 、 发 货 、 交 货 等 状态 。 需 
求 文档 或 设计 文档 常 肖 描述 了 重要 对 象 的 状态 ， 甚 至 绘制 了 状态 图 。 测 试 
人 员 可 以 直接 使 用 这 些 信 息 来 构建 状态 机 ， 以 减少 建 模 的 开销 。 不 过 ， 即 
便 项 目 经 理 或 程序 员 提 供 了 状态 机 ， 测 试 人 员 仍 需要 通过 测试 去 发 现 隐 藏 
的 状态 和 相应 的 变迁 。 这 是 因为 软件 是 高 度 复杂 的 ， 任 何 状态 机 都 只 是 一 
种 简化 表达 ， 它 可 能 遗漏 了 菏 些 值得 测试 的 状态 或 变迁 。 为 此 ， 测 试 人 员 
需要 在 测试 欠 代 中 检验 并 完善 状态 机 。 


状态 机 建 模 的 第 一 步 是 识别 状态 。 如 有 果 将 软件 状态 看 作 内 部 变量 拥有 的 

值 ， 那 么 软件 就 有 无 穷 多 的 状态 。 注 重 实效 的 测试 人 员 会 根据 测试 使 命 明 
确 建 模 目标 ， 从 而 将 无 穷 多 的 值 归 纳 到 少数 几 个 状态 。 例 如 ， 图 4-16 的 重点 
征 分 机 Windows 8 应 用 与 操作 系统 的 交互 ， 所 以 该 模型 将 应 用 正常 运作 的 情 
形 都 归纳 为 “运行 ?状态 ， 并 以 它 为 中 心 分 析 应 用 的 其 他 状态 与 变迁 。 如 采 
测试 重点 十 应 用 的 业务 逻辑 ， 那 么 测试 人 员 可 以 忽略 图 4-16 的 所 有 状态 和 变 
迁 ， 直 接 深 入 到 “运行 ”状态 中 去 建 模 。 


在 测试 过 程 中 ， 测 试 人 员 可 以 参考 以 下 技巧 [Hendrickson13]， 来 识别 软件 状 


。 如 果 软 件 展 现 了 新 的 界面 ， 人 允许 执行 更 多 的 命令 ， 那 么 它 进 入 了 另 一 
个 状态 。 如 图 4-17 所 示 ， 在 PowerPoint 中 选中 一 个 图 片 ，Ribbon 界 面 会 
显示 新 的 标签 (图片 工具 一 格式) ， 人 允许 执行 图 片 相关 的 命令 。 这 暗 
示 软 件 进入 了 “图 片 编辑 ”状态 。 


Ba I = 测试 建 模 一 21 世 纪 视 角 .pptx - PowerPoint 
开始 插入 设计 切换 动画 幻灯 片 放映 审阅 视图 
更 下 ~ 
Aas r= p Sere py py 
a me - ae a ld a ad a 
5 RE 
图 艺术 效果 F 


图 4-17 ”选中 图 片 后 ，Ribbon 显 示 新 标签 


。 如 果 软 件 展现 了 新 的 界面 ， 可 执行 的 命令 变 少 ， 那 么 它 进入 了 另 一 个 
状态 。 在 如 图 4-17 所 示 的 情况 下 ， 点 击 幻灯 片 中 的 文字 ,“ 图 片 工 
具 ” 标 签 会 消失 。 这 暗示 软件 离开 了 “图 片 编辑 ”状态 ， 进 入 了 “文字 编 
辑 ” 状 态 。 另 一 个 例子 是 ， 在 订单 提交 之 前 ， 用 户 可 以 修改 订单 中 的 商 
品 ， 一 旦 订单 提交 ， 用 户 就 无 法 修改 订单 内 容 。 这 了 上 暗示 订单 从 “未 近 
区 ”状态 进入 “已 提交 ”状态 ， 触 发 事件 是 “提交 ”。 


如 果 相 同 的 操作 导致 了 不 同 的 结果 ， 那 么 软件 进入 了 另 一 个 状态 。 例 

如 ， 癌 一 个 固定 容量 为 5 个 单元 的 空 队列 连续 添加 数据 。 前 5 次 添加 操 

作 都 会 成 功 ， 第 6 次 操作 会 导致 错误 。 这 说 明 “ 容 量 耗 尽 ”是 一 个 独立 的 

ee T “没有 数据 ;也 是 一 个 独立 的 状态 ， 因为 向 空 队列 索取 数 
HER ° 


分 析 需 求 文档 和 用 户 界 面 ， 寻 找 < 当 ..……… 的 时 候 ”\“ 在 ..…… 

后 ”、\“ 在 ..…. 之 前 ”的 表述 ， SM RESET EOS - 例 

如 , “在 订单 提交 后 ， 用 户 不 能 再 增加 或 删除 商品 * 束 暗示 “ LPE” i 征 一 
个 状态 。 又 例如 ，Windows 安 狠 补 丁 时 会 提示 “正在 更 新 您 的 系统 ， 请 
不 要 关机 ”。 这 暗示 “正在 安装 更 新 ”一 个 重要 的 状态 。 


如 果 软 件 显示 等 待 提示 符 或 进度 条 ， 那 么 软件 正在 进行 某 项 任务 ， 这 
段 任务 时 间 可 以 看 作 一 个 状态 。 例 如 ， 启 动 Windows 8 的 Bing 新 闻 应 
用 ， 该 应 用 会 显示 几 秒 钟 的 启动 界面 (如 图 4-18 所 示 ) 。 这 暗示 在 图 4- 
16 的 “不 在 运行 :和 “运行 ”之 间 隐 藏 了 一 个 状态 : “正在 初始 化 ”。 发 现 该 
状态 后 ， 测 试 人 员 会 考虑 : 能 不 能 中 断 “ 正 在 初始 化 ?状态 ? AIR PIT 
该 状态 ， 会 不 会 导致 数据 丢失 ? 


Æ| 4-18 ” Bing 新闻 的 启动 界面 


除了 识别 状态 ， 测 试 人 员 还 需要 发 据 隐 藏 的 变迁 ， 有 时 新 发 现 的 变迁 会 揭 
示 出 新 的 状态 。 以 下 是 一 些 识别 变迁 的 基本 观察 点 [Hendrickson13] 。 


© 用 户 命令 会 触发 变迁 。 例 如 ， 用 户 在 PowerPoint 中 点 击 图 片 ， 能 够 触 
发 变迁 ， 使 软件 进入 “图 片 编辑” 状态 。 


。 软件 自身 会 触发 变迁 。 例 如 ，Bing 新 闻 应 用 在 启动 时 会 进入 “正在 初始 
eos Bing 新 闻 应 用 会 在 几 秒 内 结束 该 状态 ， 进 
“运行 LAK ° 


。 软件 的 外 部 环境 会 触发 变迁 。 在 图 4-16 中 ， 当 应 用 处 于 “已 挂 起 ?状态 
时 ， 操 作 系 统 可 能 触发 “终止 ”事件 ， 使 应 用 进入 “已 终止 ”状态 。 男 一 个 
例子 是 ， 用 户 使 用 智能 手机 的 GPS 导 航 软件 来 辅助 芍 驶 。 当 他 区 车 通过 
隧道 时 ，GPS 信 和 号 可 能 中 断 ， 于 是 导航 软件 会 进入 一 个 特殊 的 状态 。 当 
他 驶 出 隧道 时 ，GPS 信 号 恢复 ， 导 航 软件 应 该 回 到 正 营 工作 状态 。 测 试 
人 员 应 该 检查 这 样 连续 的 变迁 所 产生 的 影响。 


。 时 间 会 触发 变迁 。 例 如 ， 某 软件 查询 数据 库 ， 查 询 操 作 的 超时 是 30 
秒 。 如 有 果 该 查询 的 执行 时 间 超过 30 秒 ， 那 么 查询 所 调用 的 数据 库 API 会 
抛 出 异常 ， 导 致 查询 中 断 。 从 状态 机 的 角度 ， 这 是 超时 事件 导致 软件 
状态 变迁 。 再 例如 ， 许 多 软件 会 使 用 定时 器 ， 周 期 性 〈 如 每 周 、 每 
天 、 每 小 时 ) 地 启动 计算 任务 。 开 始 计算 、 结 束 计算 和 计算 产生 的 后 
条 都 可 能 触发 变迁 。 


由 以 上 讨论 不 难看 出 ， 构 建 完 整 的 自动 机 模型 并 非 轻而易举 。 测 试 人 员 需 
要 探索 软件 来 发 现状 态 和 变迁 ， 并 利用 新 发 现 去 发 握 更 多 的 状态 和 变迁 。 
这 样 的 探索 与 发 现 之 旅 本 身 就 是 很 好 的 测试 。 当 测试 人 员 从 各 个 角度 尝试 
触发 变迁 ， 软 件 会 经 历 多 项 考验 ， 一 些 隐 藏 的 错误 就 会 暴露 出 来 。 在 整个 
建 模 过 程 中 ， 测 试 人 员 可 以 考虑 如 下 策略 来 加 速 探索 和 测试 。 


。 使 用 出 租车 漫游 和 出 租车 葵 区 漫游 [Whittaker09] 来 发 现 更 多 的 状态 和 变 
迁 。 出 租车 漫游 要 求 测试 人 员 用 不 同 的 路 线 来 达到 同一 个 目标 。 利 用 
该 隐喻 ， 测 试 人 员 需 要 发 现 到 达 (或 离开 ) 某 个 状态 的 所 有 变迁 及 和 触 
发 事件 。 出 租车 橙 区 漫游 要 求 测试 人 员 务 试 多 种 路 线 以 前 往 不 允许 的 
区 域 。 利 用 该 隐喻 ， 测 试 人 员 应 该 瞄准 一 个 很 难 达到 的 状态 ， 通 过 各 
种 手段 去 构造 一 条 或 多 条 状态 变迁 路 径 ， 以 到 达 该 状态 。 


因为 状态 图 是 一 种 联通 图 ， 状 态 和 变迁 构成 了 一 组 路 径 ， 所 以 测试 人 
员 可 以 参考 MichaelBolton 针 对 路 径 提出 的 测试 指导 词 《参见 4.2.3 

方 ) ， 通 过 构造 最 简 的 、 常 用 的 、 关 键 的 、 复 杂 的 、 病 仿 的 、 挑 战 的 
路 径 来 测试 系统 。 在 遍历 路 径 时 ， 要 考 家 错误 处 理 、 故 障 恢复 、 周 期 


性 事件 、 间 际 性 事件 等 因素 对 状态 机 的 影响 。 对 于 复业 的 状态 图 ， 可 
能 的 路 人 径 是 海量 的 。 在 设计 路 径 时 ， 要 基于 领域 知识 和 产品 风险 ,来 
选择 有 潜力 发 现 错误 的 路 径 。 


程序 员 在 编写 代码 时 ， 常 常会 忽略 一 些 可 能 发 生 的 事件 ， 从 而 导致 软 
件 不 能 应 对 复杂 的 应 用 情景 。 为 此 ， 测 试 人 员 需 要 针对 每 一 个 状态 ， 
考虑 打 断 该 状态 会 不 会 导致 故障 [Hendrickson13]。 例 如 ， 当 用 户 离 开 
一 个 windows 8 应 用 时 ， 操 作 系 统 会 给 该 应 用 5 秒 的 时 间 去 执行 清理 工 
VE 〈 通 常 是 保存 用 户 数据 和 程序 状态 ) 。5 秒 之 后 ， 无 论 清理 工作 是 否 
结束 ， 操 作 系统 都 会 挂 起 该 应 用 。 如 采 此 时 清理 工作 还 没有 完成 ， 用 
户 数据 可 能 会 丢失 。 为 此 ， 测 试 人 员 需 要 对 每 个 业务 状态 触发 < 挂 

起 ”事件 ， 来 测试 应 用 能 否 在 5 秒 内 完成 清理 工作 。 再 例如 ， 一 款 智能 
手机 软件 提供 了 录 首 功能 。 当 用 户 正在 用 它 杂 首 时 ， 一通 电话 拨 入 ， 
智能 手机 自动 切换 到 通话 界面 。 此 时 录音 状态 被 中 断 ， 电 话 之 前 的 录 
音 可 以 被 正确 保存 吗 ? 电话 结束 后 ， 软 件 能 否 目 动 恢 复 到 有 录 首 状态 ， 
继续 录 首 ? 


当 测 斌 人员 获 得 一 个 相对 完整 的 状态 图 后 ， 他 可 以 将 其 转化 为 状态 表 
[Hendrickson13]。 例 如 ， 表 4-6 是 图 4-16 对 应 的 状态 表 ， 第 一 列 是 源 状 
态 ， 第 一 行 是 触发 事件 ， 表 的 内 容 是 源 状 态 在 触发 事件 作用 下 变迁 到 
的 目标 状态 。 表 中 有 一 些 空白 单元 格 ， 说 明 状 态 图 没有 阐述 相应 的 源 
状态 和 触发 事件 的 行为 。 测 试 人 员 应 该 检查 这 些 模型 表述 上 的 空白 的 
实际 影响 。 在 源 状态 下 触发 事件 会 发 生 吗 ?这 对 源 状 态 和 触发 事件 会 
导致 软件 故障 吗 ? 


表 4-6 用 状态 表 来 表示 状态 机 


人 简 而 言 之 ， 构 建 和 运用 状态 机 模型 可 以 帮助 测试 人 员 更 好 地 理解 软件 的 运 
行 机 制 ， 更 好 地 把 握 软 件 与 外 界 的 交互 。 这 不 但 有 助 于 探究 软件 的 细 市 ， 
还 可 以 更 全 面 地 测试 软件 在 不 同情 景 下 的 行为 。 


4.2.6 ”多 种 多 样 的 模型 


在 软件 测试 中 ， 可 选 的 测试 模型 是 多 种 多 样 的 。 本 书 第 3 章 就 介绍 了 几 种 有 
价值 的 测试 模型 。 


e Google ACC (3.2.2 节 ) 针对 产品 的 属性 、 部 件 和 能 力 建立 测试 模型 ， 
让 测试 设计 聚焦 于 对 用 户 最 有 价值 的 情景 。 此 外 ， 利 用 能 力矩 阵 的 热 
eee ae 高 风险 区 域 ， 以 针对 风险 投入 测 
试 资源 £ 


功能 列表 (3.2.45) 是 一 种 常见 的 功能 测试 模型 。 它 用 层次 结构 列举 
了 产品 的 功能 ， 既 抽象 出 主要 功能 区 域 ， 又 提供 了 必要 的 细节 。 利 用 
功能 | 表 ， 测 试 人 员 可 以 逐步 发 展 测试 设计 ， 并 周密 地 履 盖 产品 的 功 
能 。 


。 Fit 表 格 〈3.2.6 节 ) 用 具体 的 测试 用 例 诠释 了 业务 规则 。 它 让 业务 分 析 
师 的 业务 知识 以 目 动 化 测试 的 形式 传递 给 测试 人 员 和 程序 员 ， 从 而 使 
开发 流程 更 加 顺畅 。 


。 质量 列表 〈3.2.9 节 ) 提示 测试 人 员 从 多 个 方面 考虑 产品 的 质量 ， 分 析 
出 值得 重点 测试 的 质量 特性 。 


软件 产品 是 高 度 复 杂 的 ， 任 何 模型 只 能 描述 它 的 一 个 局 部 。 因 此 ， 测 试 人 
员 需 要 多 种 模型 ， 从 不 同 角 度 考 察 软件 。 测 试 专家 Rikard Edgren 认 为 可 视 化 
地 表达 头脑 中 的 模型 能 够 帮助 测试 设计 ， 切 换 多 个 模型 能 够 产生 差异 化 的 
测试 想法 [Edgren12]。 


如 图 4-19 所 示 ，Edgren 的 测试 对 象 是 他 开发 的 示例 软件 “完美 年 龄 计算 磊 ”， 
当 用 户 输入 生日 字符 串 ， 它 会 输出 生日 所 对 应 的 年 龄 。Edgren 指 出 该 用 户 
界面 是 测试 人 员 可 利用 的 第 一 个 模型 。 针 对 该 模型 ， 测 试 人 员 可 以 快速 产 
生 一 批 测 试想 法 。 


Perfect Age Calculator 


Enter Your Date of Birth(MM.DD.YYYY) || 


"Run" button 


图 4-19 ”模型 一 : “完美 年 龄 计算 器 ”的 用 户 界面 


。 测试 窗 体 : 窗 体 可 以 被 正确 地 缩放 、 最 小 化 、 最 大 化 、 关 闭 吗 ? 


人 
。 测试 < 运行 ?按钮 ; 点 击 该 按钮 ， 软 件 可 以 给 出 正确 的 计算 结果 吗 ? 如 
果 输 入 框 为 空 ， 点 击 该 按钮 会 发 生 什么 ? 


。 测试 <URL> 按 钮 : 点 击 该 按钮 ， 软 件 可 以 打开 正确 的 URL 地 址 吗 ? 
随后 ，Edgren 给 出 了 第 二 个 测试 模型 。 如 图 4-20 所 示 ， 该 模型 对 时 间 建 模 ， 


将 时 间 线 划分 成 很 久 以 前 、 现 代 时 间 、 现 在 和 未 来 。 利 用 该 模型 ， 测 试 人 
员 可 以 构造 四 类 日 期 输入 ， 以 测试 软件 对 年 龄 的 计算 。 


了 RISE 
图 4-20 ”模型 二 : 时 间 线 


Edgren 的 第 三 个 模型 钙 对 时 间 线 模型 的 细 化 ， 其 结果 如 图 4-21 所 示 。 这 是 一 
个 很 有 价值 的 模型 ， 可 以 复 用 于 其 他 时 间 相 关 的 测试 。 


。 该 模型 提示 测试 人 员 考 虑 计算 机 可 以 表达 的 “时 间 的 开始 点 ”和 “时 间 的 
结束 点 ”。 对 于 .NET 程 序 ，.NET 内 建 类 型 System.DateTime 的 时 间 范 转 
是 [“1/1/0001 12:00:00 AM”, “12/31/9999 11:59:59 PM”]。 测 试 人 员 可 以 
测试 这 两 个 边界 值 ， 并 测试 早 于 “开始 时 间 ” 的 时 间 点 和 晚 于 “结束 时 
则 ”的 时 间 点 。 如 果 程 序 员 设计 了 新 的 时 间 类 型 ， 测 试 人 员 可 以 针对 该 
类 型 的 边界 进行 测试 。 


。 该 模型 提示 “ 国 年 "和 “ 国 日 ”十 特殊 时 间 点 ， 值 得 测试 人 员 考 虑 。 
。 该 模型 提示 今年 、 本 月 、 今 日 是 特殊 时 间 点 ， 值 得 测试 人 员 考 虑 。 


计算 机 上 常见 的 开始 时 间 


时 间 的 开始 点 


1600) 
tae | (i900) 
(2000 
012 
今年 | 
—— 


图 4-21 模型 三 ， 详细 的 时 间 线 


第 四 个 模型 针对 日 期 字符 串 ， 将 其 划分 为 年 、 月 、 日 三 部 分 ， 分别 设 计 测 
试想 法 。 详 细 模 型 请 参考 图 4-22。 


公元 前 的 年 份 


时 间 的 字符 串 表示 


FE 
图 4-22 ”模型 四 : “年 、 月 、 日 ”的 字符 串 表 示 


“年 "的 字符 串 表达 : 公元 前 的 年 份 、 两 位 数字 、19xx、20xx、 五 位 数 
子 - o 


。“ 月 ”的 字符 串 表 达 : 本 月 、1~12、 无 效 数 字 、 无 效 字符 串 。 
。 “日 > 的 字符 串 表 达 : 今日 、1~28/29/30/31、 无 效 数 字 、 无 效 字符 串 。 


随后 ，Edgren 从 实现 的 角度 分 析 了 软件 ， 给 出 了 如 图 4-23 所 示 的 技术 流 模 
型 。 利 用 该 模型 ， 测 试 人 员 可 以 从 实现 的 角度 设计 测试 。 


图 4-23 BWA: 技术 流 


。 字符 串 到 日 期 的 转化 : 软件 可 以 处 理 无 效 的 字符 串 吗 ? 软件 可 以 处 理 
本 地 化 的 日 期 字符 串 吗 (如 中 文 日 期 字符 串 “ 二 零 一 三 年 一 月 
H”) ? 软件 可 以 处 理 全 角 和 半角 字符 吗 ? 


。 获得 当前 日 期 ， 软 件 如 何 获 得 当前 日 期 ? 软件 使 用 本 地 时 间 ， 还 是 
UTCH 时 间 ? 


。 时 差 计算 (今天 -日 期 ，: 软件 用 何 种 数据 类 型 记录 时 差 ? 该 计算 会 
导致 整数 洲 出 吗 ? 


。 结果 报告 : 软件 如 何 将 时 差 数据 转化 成 年 龄 字符 串 ? 软件 如 何 报告 用 
户 输入 的 错误 ? 软件 如 何 报告 计算 过 程 中 发 生 的 错误 ? 


最 后 ，Edgren 用 思维 导 图 对 质量 特性 进行 建 模 ， 具 体 模 型 请 oo 该 
模型 剪裁 目 The Test Eye 发 布 的 软件 质量 特 : 往 集 [TheTestEye11] (参见 3.2.9 
节 ) ， 将 测试 思考 聚焦 于 “完美 年 龄 计算 器 ”适用 的 质量 特性 上 。 


= E 
安全 性 支持 所 有 可 能 的 数据 格式 
ARTE 
A 
操作 系统 兼容 性 
VY dom b= % RATE 
【符合 标准 ) | 魅力 | 一 


图 4-24 模型 六 质量 特性 


在 以 上 讨论 中 ，Edgren 针 对 一 球 简 单 软件 ， 创 建 了 6 个 模型 。 面 对 复杂 的 软 
件 ， 测 试 人 员 会 创建 更 多 的 模型 。 许 多 测试 模型 只 是 存在 于 测试 人 员 的 头 
脑 中 ， 并 没有 记录 下 来 。 有 时， 这 是 合理 做 法 ， 因 为 记录 模型 需要 花费 时 
间 ， 直 接 使 用 简单 的 模型 可 以 更 快速 地 测试 。 有 时 ， 可 视 化 头脑 中 的 模型 
征 更 好 的 策略 ， 它 可 以 从 以 下 几 个 方面 促进 更 好 的 测试 。 


。 记录 模型 可 以 帮助 模型 的 演化 ， 简 单 的 模型 在 测试 过 程 中 会 发 展 成 丰 
富 的 模型 。 例 如 ， 图 4-20 的 时 间 线 模型 发 展 出 图 4-21 的 详细 时 间 线 模 
型 和 图 4-22 的 年 月 日 模型 。 


。 一 些 测试 模型 可 以 应 用 于 多 个 测试 对 象 和 产品 ， 记 录 并 复 用 这 些 模型 
能 够 提高 测试 效率 。 例 如 与 时 间 有 关 的 测试 设计 都 可 以 参考 图 4-21 的 
详细 时 间 线 模型 。 


。 将 模型 记录 下 来 ， 可 以 将 它 分 享 给 测试 小 组 。 这 不 但 有 利于 知识 和 技 
能 的 传播 ， 还 可 以 收集 同事 对 模型 的 反馈 ， 以 加 速 模型 的 演化 。 


。 用 纸 笔 、 思 维 导 图 软件 等 工具 ， 测 试 人 员 可 以 灵活 地 记录 模型 。 只 要 
付出 很 短 的 时 间 ， 就 能 收获 有 价值 的 模型 。 


统计 学 家 George Box 曾 说 过 : “本 质 上 ， 所 有 模型 都 是 错 的 ， 但 是 有 些 是 有 
用 的 。”[WikipediaGEPB12]。 这 人 句 被 广泛 引用 的 名 言 道 出 了 建 模 的 真 诺 。 
从 测试 建 模 的 角度 ， 这 人 句 话 有 3 个 方面 的 意义 。 


第 一 ， 所 有 的 模型 都 是 对 软件 的 简化 ， 是 片面 的 、 不 完整 的 。 如 果 测 试 人 
员 只 使 用 单一 的 模型 或 少数 几 种 模型 ， 他 会 遭遇 认 知 偏差 ， 从 而 错过 重要 
的 测试 策略 ， 并 导致 缺陷 遗漏 。 测 试 人 员 需 要 用 多 个 模型 去 分 析 软件 ， 从 
而 产生 周密 的 、 多 样 化 的 测试 想法 。 


mt 


第 二 ， 正 因为 模型 总 是 不 完整 的 ， 测 试 人 员 不 必 追 求 " 完 类 的 模型 ”。 他 应 
该 更 注重 模型 的 实用 性 ， 更 多 地 考虑 模型 能 否 提供 好 的 测试 想法 。 


第 三 ， 在 注重 实用 性 的 前 担 下， 测试 人 员 需 要 发 现 并 消除 模型 的 错误 。 在 
团队 中 分 享 模型 并 收集 反馈 意见 是 一 个 很 好 的 方法 。 此 外 ， 他 也 应 该 在 测 
ene 用 模型 指导 测试 过 程 ， 同 时 让 测试 过 程 来 优化 
模型 。 


4.3 “小结 
了 测试 建 模 的 重要 性 ， 并 介绍 了 一 些 常用 的 测试 模型 。 


。 无 论 测试 人 员 是 否 有 意识 地 建 模 ， 任 何 测 试 都 基于 模型 。 然 而 ， 认 真 
去 构建 好 的 模型 ， 将 提高 测试 过 程 的 质量 。 


E E 
测试 。 


纯粹 的 “通用 模型 > 远离 业务 领域 和 设计 实现 ， 需 要 做 “因地制宜 ”的 改 
恨 ， 才 能 发 挥 作用 。 改 恨 的 基本 方法 是 使 用 业务 需求 、 产 品 元 素 、 项 
目 环 境 的 信息 去 丰富 和 调整 模型 。 


。 构 建 模 型 需要 简化 和 聚焦 ， 使 用 模型 需要 扩展 和 发 散 。 
好 的 测试 模型 必须 经 过 测试 迷 代 的 竣 炼 。 
“本 质 上 ， 所 有 模型 都 是 错 的 ， 但 是 有 些 是 有 用 的 。” 


。 不 要 追求 完美 的 模型 ， 要 创建 注重 实效 的 模型 。 模 型 是 测试 设计 的 工 
具 ， 好 的 模型 将 有 力 支持 测试 设计 。 


。 不 要 依赖 单一 的 模型 ， 要 综合 多 个 模型 ， 以 避免 认 知 偏差 。 不 要 完全 
信赖 任何 模型 ， 要 通过 测试 去 质疑 并 改进 模型 。 


局 发 式 测 试 菜 略 模型 HISM 是 一 个 指导 测试 设计 和 风险 分 析 的 概念 杠 
架 ， 测 斌 人 员 需 要 根据 项 目 语 境 对 其 进行 裁剪 和 丰富 。 


在 测试 中 ， 功 能 列表 〈 针 对 软件 能 力 ) 、 输 入 与 输出 模型 (针对 软件 
与 外 界 的 交互 ) 、 系 统 生 态 图 (针对 软件 结构 ) 、 实 体 关系 模型 ( 针 
对 数据 关系 ) 、 状 态 机 模型 (针对 软件 状态 ) 、 质 量 特性 列表 (针对 
多 样 化 的 质量 ) 等 是 常见 的 测试 模型 。 


+t 
Hk 
-> 
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。 测试 人 员 可 以 针对 特定 领域 或 测试 对 象 开 发 出 多 种 多 样 的 模型 。 
。 条件 分 析 是 一 种 局 发 测试 思路 的 常见 方法 。 


第 5 章 测试 技术 


如 有 说 测试 是 为 了 发 现 错误 而 执行 程序 的 过 程 ， 那 么 测试 技术 束 是 运行 程 
序 并 判断 其 对 错 的 具体 方法 。 高 效 的 测试 要 求 测试 人 员 根 据 软件 产品 和 项 
目 环境 选择 合适 的 测试 技术 ， 并 灵活 机 动 地 加 以 运用 。 假 如 测试 人 员 只 党 
握 少 数 几 种 测 弃 扩 术 ， 那 么 他 很 难 作出 合理 的 选择 ， 也 很 难 用 多 样 化 的 测 
试 来 调查 复杂 的 软件 。 为 了 高 质量 地 完成 测试 任务 ， 测 试 人 员 需 要 在 工作 
中 持续 学 习 测 斌 技术， 分 析 它 们 的 长 处 、 不 足 和 适用 情况 ， 以 逐渐 完善 目 
己 的 测试 技术 体系 。 


本 章 首 先 介绍 一 个 测试 技术 分 类 系统 ， 以 概览 各 类 测试 技术 。 然 后 ， 面 向 
测试 设计 和 执行 讨论 一 批 有 价值 的 测试 技术 。 


5.1 测试 技术 分 类 系统 


本 节 介 绍 Cem Kaner 教 授 建 立 的 测试 技术 分 类 系统 [Kaner01][Kaner11] ° 该 分 
类 系统 经 过 十 余年 的 发 展 ， 比 较 成 熟 ， 对 测试 技术 的 理解 和 选择 很 有 帮 
助 。 


Cem Kaner 认 为 测试 技术 会 从 7 个 方面 对 测试 过 程 进行 指导 。 


。 范围 : 测试 的 对 象 。 例 如 ， 功 能 测试 的 测试 对 象 通常 是 一 个 具体 的 功 
能 或 特性 。 


覆盖 : 测试 的 程度 。 例 如 ， 如 果 测 试 时 间 很 有 限 ， 测 试 人 员 通 常 只 能 
测试 一 个 功能 的 主要 场景 ， 如 果 测 试 时 间 充 裕 ， 他 会 测试 更 多 的 场景 
和 操作 方式 ， 以 扩大 测试 覆 兽 。 通 向， 测试 人 员 会 统一 考虑 测 弃 的 苍 
BA im. ° 

测试 者 :由 谁 来 执行 测试 。 例 如 ， 许 多 软件 厂商 提供 Beta 版 本 供用 户 


试用 ， 以 便 收集 他 们 对 早期 版 本 的 意见 。 对 于 Beta 测 试 ， 其 测试 执行 者 
就 是 软件 试用 者 。 


。 风险 : 测试 要 去 发 现 的 潜在 问题 。 例 如 ，Google ACC 所 重点 侦 测 的 风 
分 是 产品 的 功能 不 能 提供 有 苋 争 力 的 特性 。 


。 活动 : 测试 如 何 执行 。 例 如 ， 两 因素 组 合 测试 规定 测试 用 例 集 要 和 覆盖 
任意 两 个 因素 的 取 值 组 合 。 


.评估 和 测试 先知 ， 如 何 评价 测试 是 否 通过 。 例 如 ， 测 试 人 员 会 使 用 软 
件 的 先前 版 本 来 判断 软件 的 行为 是 否 向 后 兼容 。 


。 结果 导向 : 测试 的 目标 。 例 如 ，BVT (build verification testing) 的 目 
标 是 检查 构建 是 否 足 够 稳定 可 用 于 更 大 范围 的 测试 。 


任何 测试 活动 都 会 涉及 以 上 所 有 方面 ， 而 一 个 具体 的 测试 技术 通常 只 着 力 
于 其 中 的 1~3 项 。 例 如 ， 组 合 测试 算法 只 讨论 如 何 生 成 测试 输入 数据 ， 即 只 
禾 盖 了 “活动 ”的 一 部 分 ， 对 于 其 他 方面 没有 讨论 。 为 了 应 用 测试 技术 ， 测 
试 人 员 不 但 要 知晓 它 解决 了 哪些 问题 ,更 要 了 解 它 没有 解决 哪些 问题 。 在 
实际 测试 中 ， 测 试 人 员 需 要 根据 项 目 语 境 ， 补 上 相应 的 空白 。 

利用 以 上 测试 驱动 因素 ，Cem Kaner 建 立 了 一 个 六 要 素 测试 分 类 系统 。 因 为 
许多 技术 考 虚 了 多 个 驱动 因素 ， 所 以 它们 会 属于 多 个 分 类 。 这 提示 测试 人 
员 要 多 角度 地 考虑 测试 技术 ， 选 择 适 合 当前 任务 的 切入 点 去 应 用 它们 。 以 
下 是 该 测试 分 类 系统 的 六 大 分 文 。 


人 


。 功能 测试 ， 覆盖 产品 的 功能 。 
。 功能 或 特性 的 集成 测试 ， 覆盖 功能 之 间 的 交互 。 


。 漫游 测试 : 其 基本 策略 是 搜索 产品 的 一 个 区 域 ， 并 收集 相关 信息 (5.4 
忆 将 介绍 漫游 测试 ) 。 这 通常 要 求 覆 盖 指 定 的 一 组 测试 对 象 。 


等 价 类 分 析 ， 覆盖 所 有 的 等 价 类 。 
边界 测试 ， 覆盖 边界 值 和 邻近 区 域 。 
最 佳 代表 测试 ， 要 求 从 众多 测试 用 例 中 选择 最 有 代表 性 的 测试 用 例 ， 


常见 的 例子 包括 用 户 最 可 能 使 用 的 数据 、 给 产品 最 大 挑战 的 数据 、 最 
能 其 露 风 险 的 数据 等 。 


。 域 测试 ， 从 一 个 数值 集合 中 选择 测试 输入 数据 ， 等 价 类 分 析 和 边界 测 
试 是 典型 的 域 测 试 技术 。 如 采 穷 尽 测试 不 可 行 ， 那 么 域 测试 要 选择 出 
典型 的 测试 数据 ， 然 后 分 别 加 以 覆盖 。 

测试 想法 目录 : 包括 测试 想法 列表 、 质 量 特性 列表 、 缺 陷 目 录 等 启发 
式 想法 集合 。 测 试 人 员 要 依次 检查 每 个 想法 ， 选 择 合适 的 想法 来 设计 
具体 的 测试 。 

。 逻辑 表达 式 ， 禾 盖 罗 辑 表 达 式 的 所 有 可 能 输入 。 


多 变量 测试 :使 用 某 种 覆盖 标准 去 测试 多 个 变量 的 取 值 组 合 ， 组 合 测 
试 是 一 种 多 变量 测试 技术 (参见 4.1.1 节 ) 。 


状态 变迁 测试 : 覆盖 状态 机 中 所 有 的 变迁 (04.2.57) 。 

用 户 界面 测试 : 覆盖 所 有 用 户 可 访问 的 界面 元 素 。 

基于 规格 说 明 的 测试 : 检查 规格 说 明 的 所 有 陈 诉 得 到 正确 地 实现 。 
基于 需求 的 测试 : 检查 所 有 需求 被 正确 地 实现 。 

依从 性 测试 : 检查 软件 符合 所 有 需要 满足 的 法 律 和 约定 。 

配置 测试 ， 覆盖 所 有 或 典型 的 软 硬 件 配置 组 合 。 


本 地 化 测试 ， 履 盖 所 有 被 本 地 化 的 元 素 ， 包 括 界面 字符 串 、 日 期 格 
式 、 货 币 格式 、 字 符 集 等 。 


第 二 ， 基 于 测试 者 的 测试 技术 关注 谁 来 执行 测试 。 

。 用户 测试 : 让 实际 用 户 测试 产品 。 通 第 ， 测 试 人 员 与 用 户 一 起 工作 ， 
收集 用 户 发 现 的 缺陷 和 提出 的 意见 。 

e Alpha 测 试 ， 让 产品 的 早期 用 户 (通常 是 公司 同事 ) 试用 产品 。 

。 Beta 测 试 ， 让 一 批 实际 用 户 测试 产品 。 测 试 人 员 不 与 用 户 共 同 测试 ， 
但 会 分 析 用 户 提交 的 缺陷 。 


。 缺陷 大 扫除 : 邀请 项 目 团队 的 所 有 人 员 参 与 测试 ， 旨 在 让 不 同 的 人 通 
过 不 同 的 视角 来 检查 软件 ， 从 而 在 短 时 间 内 (缺陷 大 扫除 通常 持续 1~2 
天 ) 发 现 大 量 的 缺陷 。 


。 专家 测试 ， 邀请 领域 专家 和 测试 人 员 结 对 测试 。 


。 结对 测试 : 让 测试 人 员 和 测试 人 员 结对 、 测 试 人 员 和 程序 员 结对 ， 从 
而 产生 更 多 差异 化 的 测试 想法 。 


。 内 部 试用 : 让 项 目 团队 在 日 常 工作 中 使 用 自己 开发 的 产品 ， 从 而 尽早 
发 现实 际 用 户 会 遇 到 的 问题 。 


。 本 地 化 测试 : 让 熟悉 目标 市 场 文化 的 人 来 测试 软件 。 例 如 ，Microsoft 
Word 团 队 的 成 员 来 目 五 湖 四 海 。 团 队 领 导 通 肖 会 安排 来 自 中 国 的 员工 
执行 Word 中 文 版 和 中 文 输入 法 的 专项 测试 。 


第 三 ， 基 于 风险 的 测试 技术 关注 潜在 问题 。 
。 边界 测试 其 关注 的 是 软件 在 处 理 边 界 值 时 很 可 能 出 错 的 风险 。 


。 REWA: 一 组 很 轻便 的 测试 方法 ， 针 对 一 组 典型 的 软件 错误 实施 攻 
E 《5.5 节 将 介绍 快速 测试 ) 。 


。 约 束 测试 ， 利用 输入 约束 、 输 出 约束 、 计 算 约 束 和 数据 约束 对 软件 进 
行 测试 。 这 些 约束 往往 涉及 软件 能 力 的 边界 ， 会 暴露 软件 的 不 足 
(5.3.3 节 将 介绍 约束 检查 ) 。 


。 逻辑 表达 式 : 关注 多 个 条 件 变 量 的 组 合 ， 以 检查 软件 能 否 处 理 一 些 罕 
见 的 情况 。 


。 压力 测试 关注 软件 如 何 应 对 远 远 超过 正常 工作 量 的 负荷 ， 此 时 一 些 
隐藏 的 缺陷 很 可 能 会 私 露 。 


。 负载 测试 : 关注 软件 能 和 否 有 效 地 使 用 资源 去 处 理工 作 负载 。 其 针对 的 
风险 是 软件 不 能 合理 地 使 用 资源 ， 当 工作 负载 还 没有 到 达 预 期 上 限 
时 ， 它 已 经 占用 了 太 多 的 资源 ， 且 处 理 速度 变 得 很 慢 。 


。 性 能 测试 : 关注 软件 能 否 在 可 接受 的 时 间 内 完成 计算 任务 。 其 针对 的 
风险 是 软件 的 反应 速度 不 能 满足 用 户 的 期 望 。 


。 基于 历史 的 测试 ， 要 求 测试 人 员 分 析 先 前 版 本 中 所 发 现 的 错误 ， 识 别 
出 可 能 再 次 复 现 的 缺陷 ， 利 用 它们 去 设计 测试 。 其 针对 的 风险 是 程序 
员 会 犯 同样 的 错误 ， 或 者 某 些 缺陷 描述 了 业务 或 技术 面临 的 根本 性 困 
难 ， 很 难 彻 抵 解决 。 


。 基于 风险 的 多 变量 测试 : 从 风险 的 角度 测试 多 个 变量 的 取 值 组 合 。 例 
如 ，4.1.2 攻 在 测试 Word 的 高 级 对 话 框 时 ， 建 议 测 斌 默认 设置 和 只 更 改 
了 一 个 配置 项 的 设置 ， 因 为 它们 更 贴近 用 户 的 使 用 情景 ， 更 容易 暴露 
真实 用 户 会 遇 到 的 问题 。 


可 用 性 测试 ， 检查 软件 是 否 容易 学 习 和 使 用 。 其 关注 的 风险 是 糟糕 的 
软件 设计 让 用 户 感到 挫折 ， 以 致 他 们 会 使 用 竞争 对 手 的 产品 。 


配置 和 兼容 性 测试 : 检查 软件 在 不 同 软 硬 件 平 台 上 的 表现 ， 所 针对 的 
风险 是 产品 可 能 在 某 些 平台 上 失败 。 

互 操作 性 测试 : 检查 软件 与 相关 系统 的 交互 。 因 为 几 个 系统 通常 由 不 
同 的 团队 开发 ， 他 们 对 交互 协议 可 能 有 不 同 的 解读 ， 所 以 系统 交互 总 
征 会 骏 露 出 各 种 复杂 的 问题 。 


长 序列 测试 : 反复 且 随 机 地 运行 一 组 测试 用 例 。 因 为 测试 序列 漫长 且 
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第 四 ， 基 于 活动 的 测试 技术 关注 如 何 执行 测试 。 


。 游击 测试 : 测试 人 员 在 固定 的 时 间 盒 内 ， 对 软件 的 特定 区 域 实施 基于 
风险 的 测试 。 


。 两 因素 组 合 测试 : 测试 人 员 需 要 生成 符合 两 因素 组 合 覆 盖 标 准 的 测试 
数据 。 通 常 测试 人 员 会 利用 组 合 测试 工具 生成 测试 数据 。 


。 随机 测试 ， 利 用 随机 数 生成 器 去 产生 测试 数据 、 安 排 测试 顺序 或 选择 
测试 对 象 。 
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。 情景 测试 : 创建 一 个 或 一 组 故事 来 测试 软件 在 故事 场景 中 的 表现 。 
。 RRMA: 在 不 同 的 平台 上 安装 和 逢 载 软件 ， 并 检查 操作 结果 。 
。 回归 测试 : 运行 已 有 的 测试 用 例 来 再 次 测试 相同 的 功能 。 


。 长 序列 测试 : 要 求 测试 整 晚 运行 或 持续 几 天 ， 以 发 现 一 些 短 时间 测 试 
不 能 发 现 的 问题 。 


猴子 测试 : 要求 测试 人 员 构 建 自动 化 测试 程序 ， 来 随机 地 、 持 续 地 、 
自动 地 测试 产品 。 例 如 ， 测 试 程序 基于 产品 的 自动 机 模型 和 当前 状 
仿 ， 随 机 地 选择 触发 事件 ， 以 触发 状态 变迁 ， 并 持续 迭代 下 去 。 在 此 
过 程 中 ， 测 试 程序 会 判断 变迁 是 否 正确 、 产 品 是 否 出 现 错误 。 


性 能 测试 ， 要 求 测试 人 员 识别 用 户 使 用 产品 的 典型 模式 ， 确 定 需要 评 
估 的 性 能 指标 ， 然 后 构造 出 相应 的 测试 流程 去 考察 软件 的 性 能 。 


第 五 ， 基 于 评估 的 测试 技术 关注 如 何 判 断 测试 通过 。 


功能 等 价 测试 : 比较 被 测 软件 的 行为 和 参考 软件 (例如 已 经 发 布 的 上 
一 版 软件 ) 的 行为 。 如 果 被 测 软件 的 行为 与 参考 软件 不 一 致 ， 那 么 它 
很 可 能 出 现 错误 。 


数学 先知 : 根据 数学 规则 判断 测试 结果 的 对 错 。 例 如 ， 三 角 函 数 、 求 
平方 根 、 和 矩阵 转 置 等 计算 的 结果 都 需要 满足 数学 定理 和 计算 法 则 。 


约束 检查 : 根据 一 组 规则 判断 测试 是 否 通过 。 例 如 ， 测 试 随机 数 生 成 
函数 时 ， 测 试 人 员 很 难 判断 每 一 个 输出 是 否 正确 。 他 可 以 持续 调用 该 
函数 ， 收 集 一 大批 随 机 数 结 有 末 ， 然 后 分 析 这 批 数据 。 如 有 果 数 据 分 布 足 
够 均 习 ， 不 存在 明显 的 规律 ， 那 么 该 函数 的 质量 吏 较 好 ;如 采 数 据 分 
布 皇 现 出 某 种 规律 ， 以 致 测试 人 员 可 以 预测 下 一 次 输出 的 取 值 ， 那 么 
该 函数 还 需要 改进 。 


自 检验 数据 ， 包含 可 以 用 于 检验 的 数据 。 例 如 ， 为 了 其 露 对 数据 的 异 
党 修改 ， 测 试 人 员 计 算 了 数据 的 哈 希 值 ， 让 它 随 数据 在 系统 中 传播 。 
每 经 过 一 个 模块 后 ， 测 试 程序 会 重新 计算 数据 的 哈 希 值 ， 并 与 先前 保 
存 的 值 进行 比较 。 如 采 两 个 值 不 同 ， 那 么 数据 被 该 模块 自 改 。 


比较 已 保存 的 结果 : 通过 对 比 前 后 两 个 版 本 产生 的 数据 ， 来 侦 测 新 版 
本 可 能 引入 的 错误 。 
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基于 诊断 的 测试 : 会 使 用 软件 的 调试 功能 或 一 些 调试 辅助 工具 。 当 调 
试 功能 被 打开 或 辅助 工具 被 启用 时 ， 这 些 面向 诊断 的 代码 会 持续 检查 
产品 的 状态 。 当 测试 人 员 运 行 测试 时 ， 它 们 可 以 发 现 产 品 的 异常 状 

态 ， 如 内 存 泄漏 、 句 柄 泄漏 、 未 处 理 系 统 调用 错误 等 ， 并 报告 给 测试 


~ 
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。 可 检验 的 状态 模型 ， 使 用 测试 人 员 构 建 的 状态 机 为 测试 先知 。 测 试 程 
序 调用 软件 接口 ， 以 驱动 状态 变迁 ， 然后 比较 软件 的 实际 状态 和 预期 
状态 ， 以 检查 可 能 的 错误 。 


第 六 ， 结 果 导 向 的 测试 技术 关注 于 特定 目标 或 文档 。 


。 构建 检验 ， 其 目标 是 判断 当前 构建 是 否 足够 好 ， 能 否 提 供给 测试 小 组 
或 更 广泛 的 用 户 去 测试 。 


确认 测试 : 运行 精心 设计 的 确认 测试 用 例 ， 其 目标 是 证 明 软 件 满足 预 
先 定 义 的 要 求 。 


。 用 户 接受 测试 : 运行 用 户 指定 或 认可 的 一 批 测试 用 例 ， 其 目标 是 证 明 
软件 达到 了 用 户 可 接受 的 标准 。 


认证 测试 : 要 求 测试 小 组 提供 证 据 以 表明 产品 或 产品 制造 过 程 满足 某 
个 认证 标准 © 


利用 以 上 分 类 系统 ， 测 试 人 员 可 以 判断 一 个 测试 技术 的 张 动因 素 是 什么 ， 
了 解 它 痢 眼 于 何 处 、 又 省 略 了 哪些 方面 。 在 学 习 测 试 撤 术 时 ， 测 试 人 员 可 
以 快速 定位 它 在 分 类 系统 中 的 位 置 。 在 选择 测试 技术 时 ， 他 可 以 同时 运用 
来 目 不 同 分 支 的 测试 技术 ， 以 实施 多 样 化 的 测试 。 


Cem Kaner 从 测试 驱动 因素 的 角度 定义 了 测试 分 类 系统 ， 而 测试 专家 Lisa 
Chrispin 和 Janet Gregory 从 测试 技术 与 产品 开发 的 角度 提出 了 敏捷 测试 四 象 
限 [Chrispin09]。 如 图 5-1 所 示 ， 他 们 将 测试 技术 划分 到 Q1~Q4 4 个 象限 中 。 


Q1: 面向 技术 的 、 文 持 项 目 团 队 的 目 动 化 测试 ， 例 如 单元 测试 、 组 件 
测试 等 。 


Q2: 面向 商业 的 、 文 持 项 目 团队 的 目 动 化 和 手工 测试 ， 包 括 功 能 测 
试 、 样 例 、 用 户 故 事 测试 、 原 型 、 模 拟 等 。 


。Q3 : 面向 商业 的 、 考 验 产 品 的 手工 测试 ， 包 括 探索 式 测试 1 ， 情 景 测 
试 、 可 用 性 测试 、 用 户 验收 测试 、Alpha 及 Beta 测 试 等 。 


。Q4 : 面向 技术 的 、 考 验 产品 的 、 使 用 工具 的 测试 ， 例 如 性 能 测试 、 负 
载 测 试 、 安 全 性 测试 、 质 量 特性 测试 等 。 
1 我 不 同意 Lisa Chrispin 和 Janet Gregory 将 探索 式 测试 置 于 Q3 象 限 。 探 索 式 测试 是 一 种 并 行 地 实施 测 


试 学 习 、 测 试 设计 、 测 试 执行 和 结果 评估 的 测试 风格 。 作为 二 种 测试 思维 方法 ， 它 可 以 指导 4 个 象 
限 的 任何 一 种 测试 技术 的 使 用 。 


自动 化 和 手工 测 计 


功能 测试 
样 例 
用 户 故 事 测 试 


单元 测试 
组 件 测试 


自动 化 测试 


图 5-1 敏捷 测试 四 象限 


面向 商业 


探索 式 测试 
情景 测试 
可 用 性 测试 
用 户 验 收 测试 
Alpha 及 Beta 测 试 


性 能 测试 
负载 测试 
安全 性 测试 
质量 特性 测试 


面向 技术 


利用 敏捷 测试 四 和 象限， 测试 人 员 可 以 快速 理解 测试 技术 在 软件 开发 中 的 位 
置 ， 并 根据 当前 任务 选择 合适 的 测 斌 技术。 可见， 掌握 几 种 测试 分 类 方 
法 ， 可 以 帮助 测试 人 员 从 多 个 角度 思考 测试 技术 ， 获 得 比较 全 面 的 理解 。 


5.2 ”局 发 式 方法 


在 分 析 具 体 的 测试 技术 之 前 ， 本 节 将 简介 局 发 式 方法 的 基本 概念 ， 因 为 本 
书 已 经 讨论 或 即将 讨论 的 测试 技术 几乎 都 属于 局 发 式 方法 。 


局 发 式 方法 是 指 人 们 在 学 习 、 发 现 、 解 决 问 题 时 所 使 用 的 一 种 基于 经 验 的 
方法 [WikipediaHeuristic12]。 在 日 营 生 活 中 ， 人 们 第 用 经 狗 来 处 理 复 杂 的 现 
实 问题 。 例 如 ， 去 超市 选 购 牛 奶 ， 货 架 上 的 产品 可 能 有 几 十 种 之 多 。 为 了 
在 几 分钟 之 内 作出 决定 ， 购 买 者 往往 会 综合 几 条 经 验 规则 去 选 购 。 例 如 价 
格 高 意味 着 质量 好 、 生 产 日 期 越 近 越 好 、 熟 悉 的 产品 比较 好 (产品 的 熟悉 
程度 有 时 取决 于 厂商 所 投放 的 广告 ) 等 。 这 些 经 验 在 大 多 数 时 候 是 有 效 

的 ， 能 够 快速 地 获得 比较 好 的 管 案 。 但 是 任何 经 验 痢 不 能 适用 于 所 有 情 

况 ， 不 假 思 索 地 使 用 它们 ， 会 导致 * 认 知 偏差 >， 以 致 于 得 出 错误 的 结论 。 


在 计算 机 领域 ， 局 发 式 方法 被 用 于 获得 接近 最 优 解 的 近似 解 。 计 算 机 领域 
存在 大 量 的 复杂 问题 ， 人 研究 者 对 于 一 部 分 问题 提出 了 算法 ， 能 够 在 可 接受 
的 时 间 获 得 它们 的 最 优 解 。 例 如 ， 计 算 机 科学 家 Edsger Wybe Dijkstra 提 出 的 
最 短路 径 算法 ， 以 OO2) 的 时 间 复 杂 度 计算 出 联通 图 中 两 点 间 的 最 短路 径 。 
对 于 另 一 些 问 题 ， 并 不 存在 多 项 式 时 间 的 最 优 解 计算 方法 。 对 此 ， 研 究 者 
们 提出 了 启发 式 方法 ， 它 们 基于 某 种 简化 的 规则 或 理论 ， 能 够 迅速 地 搜索 
解 空 间 ， 发 现 足够 好 的 解决 方案 。 本 质 上 ， 局 发 式 方法 是 一 种 有 风险 的 “ 捷 
径 ?”， 不 能 保证 提供 最 优 解 。 虽 然 在 多 数 情 况 下 它 可 以 提供 近似 解 ， 但 是 有 
时 它 会 给 出 很 差 的 答案 。 


在 软件 测试 领域 ， 测 试 人 员 也 面临 高 度 复杂 的 问题 : 如 果 穷 尽 测试 是 不 可 
行 的 ， 如 何 从 无 穷 多 的 测试 用 例 中 选择 最 有 代表 性 的 测试 集合 ， 以 发 现 所 
有 的 软件 缺陷 ?” 对 于 大 多 数 软 件 ， 选 择 最 有 代表 性 的 测试 集合 和 发 现 所 有 
缺陷 是 “不 可 能 任务 ?， 是 无 法 在 有 限时 间 内 完成 的 。 为 此 ， 测 试 实践 者 基 
于 思考 和 经 验 提出 了 一 批 指导 测试 设计 、 测 斌 执行 和 结果 评估 的 启发 式 方 
法 。 例 如 ， 边 界 测 试 的 经 验 是 软件 第 第 在 处 理 数 值 边 界 时 出 错 ， 等 价 类 分 
析 的 经 验 是 等 价 类 中 的 一 个 取 值 可 以 代表 其 他 所 有 取 值 。 实 际 上 ， 局 发 式 
方法 一 直 是 测试 实践 的 主流 方法 ， 大 多 数 耳 熟 能 详 的 测试 方法 都 基于 某 些 
局 发 式 的 想法 。 测 试 小 组 通过 使 用 多 种 局 发 式 方法 ， 可 以 发 现 大 部 分 重要 
的 缺陷 ， 以 构建 满足 市 场 要 求 的 “足够 好 ”的 软件 。 


在 测试 中 ， 启 发 式 方法 针对 复杂 的 测试 问题 提出 了 一 种 简单 的 、 较 可 能 成 

功 的 解决 思路 。 使 用 启发 式 方法 ， 测 试 人 员 可 以 快速 地 采取 行动 ， 在 实践 

中 去 探索 答案 ， 从 而 避免 陷于 无 止境 的 问题 分 析 。 启 发 式 方法 是 语 境 依赖 

的 ， 即 一 种 启发 式 方法 会 在 某 些 环境 中 大 获 成 功 ， 却 在 男 一 些 环境 中 不 起 

作用 。 因 为 启发 式 方法 有 时 候 会 失败 ， 明 智 的 测试 人 员 不 会 只 依赖 一 种 或 

少数 几 种 启发 式 方法 ， 他 会 综合 运用 多 个 启发 式 方法 。 例 如 James Bach 所 提 
出 的 启发 式 测试 策略 模型 用 5 个 方面 、 几 十 个 因素 来 驱动 测试 设计 [Bach12] 
(参见 4.2.1 节 ) ， 又 例如 The Test Eye 发 布 的 文档 讨论 了 测试 想法 的 37 个 来 
源 [TheTestEye12] (参见 3.2.8 节 ) 。 此 外 ， 测 试 人 员 需 要 用 批判 性 思考 来 研 
究 他 所 使 用 的 每 项 技术 ， 知 晓 它 的 优点 与 不 足 ， 从 而 在 实际 测试 中 扬长 避 

短 [Bach04b]。 而 研究 技术 必 不 可 少 的 一 环 是 在 测试 实践 中 使 用 它 ， 通 过 实 
战 来 积累 经 验 与 教训 。 

除了 收集 、 学 习 、 整 理 已 有 的 启发 式 方法 ， 优 秀 的 测试 人 员 还 会 开发 出 自 

己 的 启发 式 方法 。 测 试 专家 James Bach 长 期 研究 并 实践 软件 测试 ， 提 出 过 许 
多 启发 式 测试 方法 。 他 建议 测试 人 员 在 测试 实践 中 建立 启发 式 方法 ， 并 给 

出 了 如 下 实施 方案 [Kelly05a] 。 


1. 笑 试 去 解决 一 个 问题 。 


2. 分 析 问 题 和 解决 方案 ， 识 别 出 问 题 的 特征 和 解决 方案 的 模式 。 
3. 深入 研究 所 发 现 的 模式 ， 理 解 它 所 针对 的 问题 ， 明 确 它 的 适用 范围 、 基 
本 假设 、 实 施 步 又 、 检 查 方法 、 优 势 与 不 足 ， 从 而 获得 精炼 的 、 可 用 于 实 
战 的 启发 式 方法 。 


4. 命名 该 启发 式 方法 。 许 多 方法 的 名 字 来 自 于 它们 的 “隐喻 ”， 例 如 漫游 测 
试 就 用 “漫游 "来 比喻 测试 过 程 对 于 产品 空间 的 遍历 访问 。 


5. 在 实际 工作 中 ， 使 用 该 局 发 式 方法 ， 并 利用 真实 反馈 来 改进 它 。 
© 发现 方法 的 不 足 之 处 ， 并 加 以 完善 。 
。 更 改 方法 的 名 字 ， 使 名 字 能 够 揭示 方法 的 核心 特征 ， 且 容易 记忆 。 


。 一 个 司 发 式 方法 要 经 过 多 次 实验 才能 成 熟 。 测 试 人 员 既 要 合理 地 质疑 
方法 的 有 效 性 ， 叉 要 对 持续 改进 的 结果 抱 有 信心 。 


此 外 ， 好 的 方法 不 但 需要 反复 磨炼 ， 还 需要 集思广益 。 当 新 方法 比较 成 熟 
时 ， 测 试 人 员 可 以 把 它 分 圣 给 同事 、 测 试 专家 或 测试 社区 。 邀 请 不 同 的 人 
评论 方法 、 收 集 来 自 各 方面 的 意见 ， 有 助 于 发 现 方法 的 优 缺 点 ， 从 而 更 有 
效 地 改进 和 使 用 。 


5.3 ”测试 先知 


所 有 测试 都 离 不 开 测试 先知 ， 它 是 应 用 任何 测试 技术 都 需要 考虑 的 环节 。 
本 市 首先 讨论 测试 先知 的 定义 ， 然 后 介绍 一 组 有 帮助 的 测试 先知 。 


5.3.1 测试 先知 的 定义 


测试 先知 是 一 种 识别 沟 在 问题 的 局 发 式 原 则 或 机 制 [Kaner10]。 该 定义 和 各 
见 的 “测试 先知 是 判断 测试 是 否 通过 的 方法 ”有 三 点 重要 区 别 。 


第 一 ， 测 试 先知 的 任务 是 “识别 潜在 问题 ”。 


所 谓 “ 问 题 ” 是 降低 软件 质量 的 因素 ， 而 质量 是 对 某 个 〈 某 些 ) 人 而 言 的 价 
值 [Gause89]。 可 见 , “问题 "的 完整 台 义 是 “ 某 些 人 的 问题 ”， 是 一 个 主观 的 
价值 判断 。 为 了 有 效 地 识别 问题 ， 测 试 人 员 需 要 理解 项 目 关 系 人 (客户 、 
用 户 、 产 品 经 理 、 程 序 员 、 管 理 人 员 等 ) 对 软件 的 期 望 ， 知 晓 软 件 通过 何 
种 途径 为 他 们 服务 。 在 测试 中 ， 他 需要 用 不 同 关 系 人 的 视角 考察 软件 ， 来 


发 掘 和 危害 软件 价值 的 问题 。 如 果 他 只 从 目 己 或 单一 关系 人 的 角度 考虑 软 
件 ， 那 么 他 可 能 错过 对 其 他 人 而 言 很 重要 的 问题 。 


我 发 现 我 有 时 会 落 入 一 个 思维 陷阱 ， 即 测试 时 只 考虑 软件 的 行为 是 否 符合 
产品 经 理 编写 的 规格 说 明 ， 而 忽略 软件 设计 是 否 真正 提高 了 软件 对 用 户 的 
价值 。 这 样 ， 我 可 能 放 过 一 些 符合 规格 说 明 但 值得 改进 的 问题 。 通常， 有 
经 验 的 产品 经 理 可 以 提出 一 个 “足够 好 ”的 设计 ， 然 而 “优秀 ”的 产品 必须 要 经 
过 实际 使 用 的 “打磨 ?。 我 发 现 优秀 的 测试 人 员 会 从 用 户 的 角度 “把 玩 " 产 品 ， 
对 产品 的 设计 和 实现 提出 很 多 的 疑问 或 意见 。 负 责任 的 产品 经 理 和 程序 员 
会 感谢 测试 人 员 的 琢磨 ， 并 认真 思考 他 们 的 提议 。 


第 二 ， 测 试 人 员 不 能 依靠 单一 的 测试 先知 去 判断 测试 是 否 通过 。 


由 4.2.2 玫 关于 软件 输入 与 输出 的 讨论 可 知 ， 软 件 行为 可 能 产生 多 种 输出 ， 
每 种 输出 都 可 能 隐藏 错误 。 比 如 ， 测 试 一 款 计 算 器 软件 ， 当 输入 “1+1? 时 ， 
软件 返回 结果 2。 从 数学 运算 的 角度 ， 这 是 正确 的 ， 但 是 该 计算 操作 可 能 还 
隐藏 春 其 他 问题 。 例 如 ， 软 件 显 示 结 末 时 ， 它 的 弄 面 快速 地 闪烁 了 一 下 ， 
这 会 引起 用 户 的 不 适 。 青 例如， 软件 用 了 2 秒 钟 的 时 间 才 返回 计算 结果 ， 这 
样 的 运算 速度 破坏 了 用 户 体验 。 再 例如 ， 每 次 算术 运算 都 会 泄漏 1MB 内 
存 ， 经 过 多 次 计算 后 ， 计 算 右 进程 将 占据 大 量 的 内 存 ， 以 致 影 响 到 计算 机 
性 能 。 可 见 ， 即 便 是 最 简单 的 操作 ， 也 需要 从 多 个 角度 进行 检查 。 一 个 测 
斌 先知 只 检查 软件 的 特定 方面 ， 能 够 发 现 相 关 的 缺陷 ， 但 不 能 发 现 所 有 的 
问题 。 因 为 测试 人 员 需 要 全 面 调查 软件 的 质量 信息 ， 所 以 他 应 该 运用 多 种 
测试 先知 去 检查 软件 的 行为 。 如 果 他 的 测试 执行 缺少 某 个 重要 的 测试 完 
知 ， 那 么 他 很 可 能 错过 一 些 特定 方面 的 错误 。 


第 三 ， 测 试 先知 本 质 是 一 种 启发 式 方法 ， 它 提供 了 有 效 的 检查 策略 ， 但 不 
能 发 现 所 检查 领域 内 的 所 有 缺陷 。 


正如 编程 小 组 不 能 构建 完美 的 软件 ， 测 试 小 组 也 不 可 能 构造 完美 的 测试 先 
知 。 反 过 来 说 ， 如 果菜 种 方法 可 以 提供 绝对 正确 的 结 末 ， 编 程 小 组 一 定 会 
用 它 来 实现 软件 ， 而 无 需 进一步 测试 。 在 真实 项 目 中 ， 测 试 先 知 是 一 种 “ 捷 
径 >， 它 基于 茶 种 原则 或 机 制 ， 针 对 特定 领域 提出 一 些 测试 想法 ， 用 不 完美 
但 可 能 成 功 的 策略 去 检查 隐藏 的 缺陷 。 例 如 ， 测 试 数学 函数 时 ， 一 种 典型 
的 测试 先知 是 检查 函数 在 荣 些 点 或 某 个 区 间 的 返回 值 是 否 符合 其 数学 性 
质 。 该 测试 先知 利用 数学 知识 简化 了 测试 设计 ， 用 有 限 的 检查 取代 了 穷尽 
测试 。 其 不 足 是 它 不 能 检 出 函数 值 在 采样 点 或 采样 区 间 之 外 的 错误 。 总 
之 ,测试 人 员 需 要 合理 地 质疑 测试 先知 的 有 效 性 ， 并 通过 测试 反馈 来 调整 
测试 先知 ， 使 它 符合 产品 特征 并 具有 较 强 的 错误 识别 能 力 。 


简 而 言 之 ， 测 试 先知 是 识别 缺陷 的 启发 式 方法 。 它 不 能 判断 软件 是 否 通过 
测试 ， 只 能 判断 软件 在 测试 过 程 中 是 否 出 现 明 显 的 失败 。 测 试 人 员 需 要 从 
不 同 关系 人 的 角度 ， 设 计 多 个 测试 先知 来 考察 软件 的 行为 。 在 测试 过 程 
中， 他 还 需要 竺 续 关 注 并 改进 测 试 先知 的 有 效 性" 唯 有 如 此 才能 各 免 天 
9 缺陷 遗漏 。 


5.3.2 FEW HICCUPPS 
FEW HICCUPPS 是 测试 专家 Michael Bolton 和 James Bach 提 出 的 识别 和 运用 
测试 先知 的 想法 列表 [Bolton05][Bolton12]。 他 们 建议 测试 人 员 使 用 以 下 启发 
式 指导 词 来 检查 被 测 产品 : 

e Familiarity (熟知 ) 
E xplainability (可 说 明 性 ) 
W orld (EF) 


H istory (历史 ) 


yo 


Image (远景 ) 


C omparable Products (可 对 比 的 产品 ) 


Claims (声明 ) 
U ser's Expectations (用 户 期 望 ) 


P roduct itself (产品 本 身 ) 


P urpose (意图 ) 


e Statutes and Standards (法 规 和 标准 ) 


指导 词 < 熟 知 ” 建 议 测试 人 员 在 产品 中 搜索 他 熟悉 的 缺陷 模式 。 当 测试 人 员 
刚 接 触 一 个 新 产品 时 ， 他 通常 会 利用 已 有 的 经 验 来 寻找 缺陷 。 在 测试 过 程 
中 ， 测 试 完 知 来 目 于 典型 的 缺陷 和 以 往 的 经 给。 例如， 测试 人 员 曾 经 使 用 
极限 值 发 现 过 许多 软件 缺陷 ， 于 是 他 在 新 产品 中 搜索 可 以 输入 数值 的 控 

件 ， 然 后 笠 试 用 最 大 值 、 最 小 值 、 零 等 极限 值 来 考验 软件 。 利 用 该 测试 入 
略 ， 他 可 以 快速 地 发 现 一 批 他 熟悉 的 缺陷 ， 并 为 更 深入 的 测试 积累 知识 和 
信心 。 不 过 ， 该 测试 策略 可 能 让 测试 人 员 在 很 长 一 段 时 间 内 只 关注 特定 类 


型 的 缺陷 ， 而 忽视 了 新 产品 特有 的 缺陷 。 人 总 是 愿意 做 自己 擅长 的 事情 ， 
但 是 测试 要 求 测试 人 员 较 全 面 地 掌握 系统 ， 并 探索 各 个 区 域 的 细节 。 所 
以 ， 测 试 人 员 需 要 交替 使 用 多 种 测试 策略 ， 人 花 一 些 时 间 寻 找 熟知 的 缺陷 ， 
然后 运用 其 他 局 发 式 指导 词 去 探索 。 


指导 词 “ 可 说 明 性 是 指 产 品 应 该 容易 理解 ， 测 试 人 员 能 够 将 它 的 行为 向 他 
人 解释 清楚 。 测 试 人 员 可 以 时 和 常 反 问 自己 : 我 可 以 将 这 部 分 功能 详细 地 解 
和 


第 一 ， 它 让 测试 人 员 从 新 用 户 的 角度 考察 软件 的 功能 。 有 时 ， 测 试 人 员 长 
期 测试 一 款 产品 ， 对 产品 的 行为 习以为常 ， 对 一 些 不 方便 的 设计 拥有 较 高 
的 容忍 度 ， 对 一 些 新 用 户 能 立即 发 现 的 问题 会 熟视无睹 。 强 迫 自 己 像 新 用 
户 那样 思考 ， 可 以 发 现 一些 以 前 忽视 的 问题 。 此 外 ， 他 还 可 以 邀请 其 他 领 
域 的 测试 同事 进行 结对 测试 。 在 结对 过 程 中 ， 他 仔细 地 解释 软件 的 功能 ， 
结对 伙伴 则 不 停 地 质疑 其 解释 的 合理 性 。 这 可 以 在 短 时 间 内 发 现 一 批 不 合 
理 的 设计 或 实现 缺陷 。 


第 二 ， 要 求 自己 明确 地 解释 软件 的 行为 ， 可 以 暴露 出 自身 知识 上 的 不 足 。 
如 果 测 试 人 员 不 能 清晰 地 解释 软件 的 行为 ， 他 应 该 感到 警惕 。 这 可 能 意味 
着 他 不 了 解 业 务 逻 辑 ， 不 知晓 产品 设计 ， 不 清楚 实现 细节 。 这 些 知 识 上 的 
漏洞 会 导致 薄弱 的 测试 设计 和 严重 的 缺陷 遗漏 。 不 过 ， 从 积极 的 角度 来 

看 ， 困 惑 是 一 种 测试 工具 [Kaner01]， 它 指引 测试 人 员 针 对 他 不 能 解释 的 问 
题 进行 探索 。 通 过 积极 地 学 习 和 测试 ， 测 试 人 员 不 但 可 以 弥补 知识 的 漏 

洞 ， 还 可 以 发 现 隐藏 的 缺陷 。 此 外 ， 如 采 产 品 经 理 或 程序 员 不 能 清晰 地 解 
释 他 所 负责 的 功能 ， 这 就 暗示 他 们 的 工作 可 能 存在 盲点。 测试 人 员 可 以 利 
用 该 提示 去 仔细 测试 这 些 功能 。 


指导 词 “世界 建议 测试 人 员 用 现实 世界 的 常识 去 评估 软件 。 用 户 使 用 软件 
去 完成 现实 世界 的 任务 ， 自 然 期 望 其 行为 符合 一 般 期 望 或 常识 。 例 如 ， 在 
线 交易 网 站 应 该 只 显示 用 户 信用 卡 的 后 4 位 ， 以 避免 信用 卡 被 盗用 。 如 
果 “ 客 户 信息 ”页 面 展示 了 完整 的 信用 卡 卡号 ， 这 很 可 能 是 一 个 缺陷 。 又 全 
如 ， 一 款 编辑 软件 要 保证 用 户 数据 的 安全 ， 它 要 么 自动 保存 文件 ， 要 么 在 
退出 时 提示 用 户 保存 被 修改 的 文件 。 如 果 编 辑 软件 在 某 个 情景 中 既 不 保存 
文件 ， 也 不 提示 用 户 保存 文件 ， 就 径 自 退出 ， 那 么 该 行为 会 导致 用 户 数据 
的 丢失 ， 是 一 个 严重 的 缺陷 。 可 见 ， 常 识 是 一 个 有 价值 的 测试 先知 ， 它 是 
篇 幅 有 限 的 规格 说 明 在 复杂 世界 的 重要 补充 。 为 了 更 好 地 利用 该 测试 先 
知 ， 测 试 人 员 需 要 拓展 自己 的 知识 面 ， 多 学 习 与 软件 和 业务 相关 的 知识 。 
否则 ， 他 会 因为 不 了 解 相关 知识 或 秉持 错误 的 观念 而 错过 一 些 缺 陷 。 


指导 词 “ 历 史 ” 建 议 软件 的 功能 应 该 与 它 的 历史 行为 一 致 。 许 多 软件 发 行 过 
多 个 版 本 ， 当 前 版 本 的 功能 应 该 与 以 往 版 本 一 致 ， 以 保证 用 户 的 数据 、 技 
能 、 经 验 持 续 有 效 。 例 如，Microsoft Word 是 一 个 有 20 多 年 历史 的 软件 ， 耳 
熟 能 详 的 版 本 包括 Word 95 ` Word 97 ` Word 2000 ` Word 2003、 Word 

2007 ` Word 2010 ` Word 2013 等 。 如 果 Word 2013 的 排版 结果 与 历史 版 本 有 
重大 区 别 ， 那 么 它 就 不 能 妥当 地 呈现 用 Word2007、Word2010 等 精心 编排 的 
文档 。 这 是 千 千 万 万 的 Word 用 户 所 不 能 接受 的 ， 是 很 严重 的 缺陷 。 又 例 
如 ，Microsoft Word 提 供 了 对 象 模 型 ( 即 一 组 面向 对 象 风 格 的 API) ， 让 用 
Rp ae mae 程序 员 可 以 编写 VBA 程 序 来 扩展 Word 的 功能 或 完成 目 动 化 任 
务 。 新 版 本 的 Word 会 根据 功能 的 变化 来 修改 对 象 模型 ， 但 是 其 核心 
HRI hae, PURER LABA VBA FE)? A DIE HIS TT o WRK 
心 对 象 模型 的 行为 发 生 改 变 - 那么 用 户 的 VBA 程 序 台 会 报错 ， 导 致 用 户 不 
能 正常 工作 ， 所 以 这 是 一 个 严重 的 缺陷 。 


将 历 史 版 本 作为 测试 先知 时 ， 测试 人 员 要 注意 两 个 潜在 的 问题 。 ;, 
史 版 本 可 能 包含 错误 ， 使 用 错误 的 测试 先知 可 能 掩盖 长 期 存在 人 所 
以 ,测试 人 员 要 始终 对 历史 版 本 抱 有 合理 的 怀疑 ， 并 用 多 个 测试 先知 去 评 
判 软件 的 行为 。 如 果 发 现 一 个 存在 于 多 个 版 本 的 缺陷 ， 他 应 该 很 仔细 地 报 
告 这 个 缺陷 ， 写 明 该 喘 陷 可 能 在 哪些 历史 版 本 上 重 现 ， 并 强调 修复 它 的 价 
值 。 eee ee 测试 人 员 要 
充分 说 明 它 对 软件 价值 的 损害 ， 以 据 理 力争 。 第 二 ， 测 试 人 员 可 能 被 历史 
版 本 束缚 了 思路 ， 而 忽视 了 优化 设计 的 机 会 。 好 的 设计 既 利 用 已 有 设计 的 

资产 ， 又 会 做 出 细 世 或 整体 的 改进 ， 而 许多 重大 成 功 往 往来 目 突 破 性 的 设 
fe 例如 ，Word 2007 放 弃 传 统 的 Windows 荣 单 界面 ， 司 用 Ribbon 界 面 。 虽 
然 一 些 用 户 抱 乱 Word 变 得 卫生 ， 但 是 更 多 的 用 户 开始 拥抱 新 界面 。 然后， 
Office 2010 的 所 有 程序 都 启用 了 Ribbon 界 面 。 在 新 界面 的 帮助 下 ，Office 
2010 的 销售 量 超 过 了 所 有 历史 版 本 。 这 说 明 测 试 人 员 应 该 关注 新 的 应 用 情 
景 和 技术 趋势 ， 反 思 现 有 设计 ， 并 提出 有 建设 性 的 意见 。 


指导 词 “远景 "要求 软件 的 表现 符合 开发 团队 设 定 的 期 望 。 例 如 ，Google+ 的 
开发 团队 对 产品 的 期 望 是 : 让 用 户 轻 松 目 如 地 在 社交 网 络 中 表达 目 我 和 彼 
saa 同时 保护 他 的 隐私 。 因 此 ， 他 们 决定 Google+ 的 核心 价值 是 : 社 

ous 自如 、 相 关 、 可 扩展 、 隐 私 ( 参 13.2.21) o 在 如 此 远景 的 
ES 测试 团队 开发 出 一 些 具体 的 检查 规则 : OR BOL ED AAE 
eee `“ 只 要 一 次 反击 束 可 以 关闭 视频 和 音频 输入 *、“ 只 有 人 被 邀 请 的 
用 户 才 能 加 入 群 聊 ”等 。 以 远景 为 测试 先知 ， 测 试 人 员 可 以 将 精力 集中 在 产 
品 最 有 价值 的 属 HEE, ADTA MER mAP ERA o 


指导 词 < 可 对 比 的 产品 ”建议 测试 人 员 使 用 相似 产品 作为 测试 先知 来 评测 当 
前 产品 。 软 件 的 功能 很 少 是 “举世 无 双 ” 的 ， 在 多 数 情况 下 ， 已 有 其 他 产品 


实现 了 相似 的 功能 。 通 过 对 比 相 似 的 产品 ， 测 试 人 员 可 以 较 快 地 发 现 被 测 
产品 的 问题 。 例 如 ， 测 斌 Microsoft Word 时 ， 束 可 以 考虑 以 下 策略 。 


。 比较 同一 产品 家 族 的 其 他 应 用 。 例 如 ， 测 试 Word 的 图 片 处 理 时 ， 可 以 
对 比 Word、Excel 和 PowerPoint 的 相关 功能 ， 因 为 它们 拥有 几乎 相同 的 
图 片 处 理 特性 集 。 如 果 在 Word 中 调整 一 张 图 片 的 颜色 ， 发 现 了 可 疑 的 
结果 ， 测 试 人 员 可 以 在 Excel 和 PowerPoint 对 同一 张 图 片 实 施 相 同 的 操 
作 。 如 果 Excel 和 PowerPoint 的 结果 看 上 去 更 好 ， 那 么 可 以 推 煌 Word 存 
在 缺陷 。 


比较 彼此 竞争 的 产品 。 例 如 ， 测 试 Word 排 版 时 ， 可 以 对 比 Word、 
MAC Word 和 OpenOtffice 的 排版 功能 。 让 这 些 软件 打开 同一 份 复杂 文 
档 ， 比 较 它 们 所 呈现 的 文档 内 容 。 如 果 Word 的 排版 效果 不 如 其 他 软 
ee 需要 提交 缺陷 报告 ， 并 附 上 评测 所 使 用 的 文档 和 排版 结 


比较 拥有 相似 功能 的 产品 。 例 如 ， 测 试 Word 的 图 片 导入 功能 时 ， 可 以 
对 比 Word 和 Windows 画 图 板 。 如 果 Word 不 能 导入 一 张 图 片 ， 但 是 
Windows 画 图 板 却 可 以 打开 该 图 片 ， 那 么 Word 很 可 能 存在 缺陷 。 


比较 功能 简单 、 可 靠 性 高 的 产品 。 例 如 ， 测 试 Word 与 输入 法 的 兼容 性 
上 时， 可 以 对 比 Word 和 Windows 记 事 本 。 如 果 某 球 输 入 法 在 Word 中 不 能 
输入 ， 但 是 在 记事 本 中 正常 工作 ， 那 么 可 以 推测 Word 存 在 缺陷 。 


比较 期 望 取代 的 产品 。 例 如 ， 测 试 Word 的 电子 墨水 功能 时 ， 将 它 和 传 
统 的 纸 笔 进行 比较 。 测 试 人 员 可 以 调查 : 用 户 使 用 电子 笔 ， 能 在 Word 
中 目 如 地 书写 吗 ? 其 用 户 体验 能 够 到 达 纸 笔 的 水 平 吗 ? 其 使 用 情景 
REMI ALA’ 


比较 公认 的 “专业 ”产品 。 测 斌 Word 2013 的 “阅读 视图 ”时 ， 可 以 对 比 
Word ` Kindle for PC 和 Kindle for Windows 8 ° Kindle for PC 是 一 款 捆 面 
软件 ， 提 供 了 丰富 的 电子 书 阅读 功能 。Kindle for Windows 8 是 一 蒜 
Windows 8 应 用 ， 面 向 触 屏 提 供 了 流畅 的 阅读 体验 。 通 过 对 比 这 两 球 软 
件 ， 测 试 人 员 可 以 评估 Word 的 阅读 视图 在 鼠标 、 键 盘 、 和 触摸 等 操控 方 
式 下 的 表现 ， 并 分 析 该 功能 是 否 达 到 了 上 典型 阅读 软件 的 水 平 。 


总 之 ， 测 试 人 员 可 以 根据 被 测 功能 ， 选 择 一 批 * 可 对 比 的 产品 ?进行 比较 。 
好 的 参照 物 不 但 可 以 提高 测试 效率 ， 还 能 够 增强 缺陷 报告 的 说 服 力 。 


指导 词 < 声明 ”要 求 产 品 满足 项 目 文档 关于 其 功能 和 质量 的 论述 。 和 常见 的 项 
目 文档 包括 需求 文档 、 规 格 说 明 、 用 户 手 册 、 广 告 文 宣 、 营 销 资 料 等 。 在 


项 目 过 程 中 ， 许 多 设计 决策 是 逐步 浮现 的 。 例 如 ， 测 试 人 员 通过 实际 使 用 
产品 ， 发 现 了 一 个 设计 缺陷 。 为 了 修复 该 缺陷 ， 产 品 经 理 和 程序 员 经 过 讨 
论 ， 对 产品 设计 进行 了 调整 。 随 着 此 类 设计 变更 的 累积 ， 产 品 可 能 不 再 满 
尼 原 有 文档 的 描述 ， 甚 至 背离 了 设计 初 吉 。 对 此 ， 测 试 人 员 需 要 分 析 项 目 
文档 ， 抽 取出 它们 对 产品 的 声明 ， 用 作 测 试 先 知 来 测试 软件 。 如 果 发 现 文 
档 和 产品 不 一 致 ， 他 可 以 提交 代码 缺陷 ， 也 可 以 提交 文档 缺陷 ， 要 求 修订 
文档 。 诸 如 用 户 手册 、 宣 传 资料 等 文档 是 最 终 产品 的 一 部 分 ， 要 认真 对 

待 。 


指导 词 < 用 户 期 望 ” 建 议 测试 人 员 站 在 用 户 的 角度 思考 ， 以 检查 软件 是 否 真 
正 地 为 用 户 服 务 ， 并 达到 了 他 们 的 期 望 。 通 常 ， 较 好 的 测试 方法 是 发 布 软 
件 的 早期 版 本 ， 邀 请 最 终 用 户 参 与 测试 ， 观 察 他 们 遇 到 的 困难 ， 并 收集 他 
们 的 反馈 意见 。 此 外 ， 测 试 小 组 还 可 以 研究 用 户 群 体 ， 建 立 儿 个 典型 用 户 
角色 ， 来 代表 不 同年 龄 、 技 能 、 特 点 的 用 户 。 然 后 针对 用 户 角 色 ， 设 计 知 
干 个 他 们 需要 完成 的 常见 任务 ， 并 利用 这 批 任务 实施 情景 测试 《5.6 节 将 讨 
论 情景 测试 ) 。 在 测试 过 程 中 ， 测 试 人 员 将 自己 当成 用 户 角色 ， 以 该 角色 
的 思维 方式 操作 软件 。 在 测试 间 聊 ， 他 可 以 反思 测试 过 程 ， 并 目 问 : 软件 
能 够 帮助 用 户 顺 利 完成 任务 么 ? 哪些 地 方 使 用 起 来 很 不 方便 ? 哪些 操作 很 
难 完成 ? 能 人 否 调整 软件 ， 使 用 户 可 以 更 方便 地 达成 目标 ? 


指导 词 “ 产 品 本 身 ” 要 求 产 品 所 拥有 的 功能 和 使 用 模式 彼此 一 致 。 在 一 款 大 
型 产品 中 ， 一 组 功能 是 由 多 人 设计 并 实现 的 。 如 果 设 计 者 之 间 的 理念 发 生 
冲突 而 他 们 又 缺乏 沟通 ， 产 品 的 功能 之 间 驶 存在 不 一 致 性 ， 以 致 于 让 用 户 
感到 困惑 。 一 个 很 知名 的 不 一 致 问题 是 快捷 键 Ctrl+F 在 Microsoft Outlook 中 
的 作用 。 在 阅读 邮件 时 ，Ctrl+EF 的 行为 不 是 大 多 数 人 期 望 的 字符 串 查 找 ， 而 
是 转发 邮件 。 偏 偏 在 撰写 邮件 时 ，Ctrl+F 的 行为 又 变 回 字 符 串 查找 。 这 给 
Outlook 的 用 户 带 来 了 许多 困扰 ， 他 们 很 难 预 测 Ctrl+F 的 行为 ， 也 很 不 习惯 
CtrltF 违 反常 识 的 举动 。 男 一 个 例子 是 如 图 5-2 所 示 的 PowerPoint 2013 的 图 
片 编辑 界面 ， 其 中 “图 片 样式 ”( 区 域 A) 的 图 标 风格 与 “图 片 效果 -~ 阴 

影 ”( 区 域 B) 的 图 标 风 格 不 一 致 。 实 际 上 ， 区 域 A 的 图 标 是 Office 2013 的 新 
风格 ， 而 区 域 B 的 图 标 继承 自 Office 2010。 为 了 发 现 此 类 问题 ， 测 试 人 员 可 
以 使 用 功能 漫游 去 游历 产品 的 多 个 功能 ， 或 运行 履 盖 多 个 功能 的 情景 测 
试 ， 以 发 现 潜 在 的 不 一 任性 。 
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图 5-2 ”不一致 的 powerPoint 图 标 


指导 词 “ 意 图 ”要 求 产 品 能 够 体察 并 服务 于 用 户 的 意图 。 例 如 ， OneNote for 
Windows 82 是 一 蒜 为 触 屏 优 化 的 软件 ， 图 5-3 是 它 的 截图 。 其 中 ， 用 户 创 建 
了 一 个 列表 ， 包 含 两 个 条 有 目 : Item1 和 Item2。 用 户 将 Item1 的 字体 调整 为 
Verdana 和 13 磅 ， 然 后 选中 Item2， 准 备 进 行 相同 的 字体 调整 。 如 图 5-3 所 
示 ，OneNote 认 为 用 户 会 重复 上 一 次 的 操作 ， 于 是 将 字体 的 默认 值 调整 为 13 
人 磅 ， 用 户 只 要 在 Font Size 上 轻 轻 一 点 ， 束 可 以 将 Item2 的 字体 尺寸 调整 为 13 
磅 。 在 大 多 数 情 况 下 ，OneNote 的 这 个 行为 符合 用 户 的 “意图 ”， 是 一 项 贴心 
的 设计 。 但 是 ， 此 时 点 击 〈 或 触摸 ) Font，OneNote 却 没有 选中 上 次 使 用 的 
Verdana， 而 是 选中 了 Item2 的 当前 字体 Calibri， 详 情 请 参考 图 5-4。 该 行为 既 
违反 了 测试 先知 “产品 本 身 ”， 也 违反 了 测试 先知 “意图 ”。 


| 2 本 书 所 测试 的 OneNote for Windows 8 的 版 本 是 15.0.4454.1006。 
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图 5-4 OneNote for Windows 8 显示 Item2 的 当前 字体 


单纯 地 测试 软件 功能 ， 可 能 不 能 发 现 此 类 人 缺陷， 因为 如 果 不 考 虑 使 用 情 
景 ， 诸 如 图 5-4 所 示 的 行为 并 无 不 妥 。 测 试 人 员 应 该 用 软件 去 完成 一 项 有 意 
义 的 且 相 对 复杂 的 任务 ， 在 真实 的 使 用 语 境 中 推 殴 软件 的 功能 是 否 符合 
户 意图 。 例 如 ， 测 试 人 员 可 以 用 OneNote 编 写 一 个 测试 小 组 的 “新 人 入 职 指 
南 ”， 禾 盖 文 字 编 辑 、 相 片 处 理 、 图 表 制 作 、 列 表 编 排 、 页 面 布局 等 多 项 功 
能 ， 并 确保 指南 内 容 丰 语 、 排 版 美观 。 在 测试 过 程 中 ， 测 试 人 员 仔 细 观 察 
并 分 析 产 品 的 行为 ， 可 以 发 现 一 些 实际 用 户 很 在 意 的 细节 问题 。 


指导 词 “法 规 和 标准 ”建议 测试 人 员 研 究 产品 相关 的 法 令 法 规 、 行 业 标准 、 
合同 约定 、 技 术 标 准 等 强制 性 规则 ， 用 它们 作为 测试 先知 来 指导 测试 设计 
和 评估 。 例 如， 微软 、 合 歌 、 苹 果 等 公司 为 各 目的 操作 系统 开设 了 应 用 商 
店 ， 辟 励 程序 员 向 其 提交 应 用 程序 ， 并 给 予 销售 分 成 。 这 些 公司 都 发 布 了 
应 用 开发 的 指导 文件 和 应 用 需要 满足 的 强制 性 规定 。 测 试 人 员 需 要 仔细 阅 
读 这 些 资 料 ， 以 它们 为 测试 先知 来 检查 软件 。 许 多 案例 表明 ， 一 些 看 似 无 
碍 的 细节 实际 上 触犯 了 应 用 商店 的 规则 ， 并 导致 应 用 无 法 通过 审查 ， 延 后 
了 发 布 时 间 ， 阻 碍 了 业务 发 展 。 如 果 测 试 人 员 可 以 及 时 发 现 并 报告 这 些 问 
题 ， 程 友 员 就 能 及 时 修复 ， 产 品 也 能 顺利 上 架 销 售 。 为 了 构建 平滑 的 发 布 
流程 ， 依 据 “ 法 规 和 标准 ”进行 测试 十 必 不 可 少 的 一 环 。 


FEW HICCUPPS 本 质 上 是 基于 一 致 性 的 局 发 式 测试 先知 。 测 试 人 员 利 用 一 
组 局 发 式 指导 词 ， 设 计 测 试 并 检查 软件 在 特定 方面 的 一 任性 。 综 合 使 用 它 
们 ， 可 以 从 不 同 角 度 考 察 产 品 ， 有 助 于 更 全 面 的 思考 、 更 周详 的 测试 。 


5.3.3 ”约束 检查 


许多 软件 具有 复杂 的 计算 逻辑 ， 测 试 人 员 很 难 直 接 判 断 其 计算 结 采 是 否 正 
确 。 这 时 ， 他 可 以 根据 产品 的 业务 逻辑 和 实现 策略 ， 提 出 一 组 约束 规则 ， 
用 相对 简单 的 规则 去 发 现 复 杂 计 算 的 错误 。 虽 然 约束 规则 可 能 会 错过 一 些 
E ie 
H o 


测试 专家 Harry Robinson 曾 经 在 谷歌 公司 测试 谷歌 地 图 的 区 车 导航 功能 

[Robinson10]。 他 需要 检查 谷歌 地 图 是 否 正 确 地 给 出 了 从 地 点 A 到 地 点 B 的 
导航 路 线 。 这 是 一 项 有 挑战 的 测试 任务 。 第 一 ， 谷 歌 地 图 拥有 海量 的 用 
户 ， 他 们 有 不 同 的 出 发 地 (地 点 A) 和 目的 地 (地 点 B) ， 因 此 很 难 构建 “ 典 
型 > 的 测试 输入 集合 。 第 二 ， 导 航 问 题 在 现实 世界 并 不 存在 “标准 答案 ”或 “最 
优 解 >， 两 条 不 同 的 导航 路 线 可 能 都 满足 用 户 的 要 求 ， 因 此 测试 人 员 很 难 断 
言 某 条 路 线 一 定 错误 或 一 定 正 确 。 第 三 ， 导 航 算法 是 考虑 多 个 因素 的 人 工 


智能 算法 ， 实 现 复杂 度 很 高 ， 因 此 重新 开发 一 套 导 航 算 法 作为 测试 先知 即 
便 是 可 行 的 ， 也 会 耗费 大 量 的 测试 时 间 ， 给 项 目 开 发 带 来 风险 。 


Robinson 的 策略 是 构建 一 个 约束 规则 集 ， 让 测试 程序 利用 这 套 规 则 去 检查 海 
量 的 地 址 组 合 。 该 测试 程序 的 算法 如 代码 清单 5-1 所 示 。 其 输入 是 美国 所 有 
ESBS ABC, KAVA LOC MBA, Bi [KERR 国 用 户 的 情况 测 
斌 代码 调用 合 歌 地 图 ， 获 得 每 对 邮政 编码 的 导航 路 线 集合 ， 然 后 用 规则 集 
对 导航 路 线 进行 检查 。 如 有 果 规 则 检 INT AR 程序 会 将 失 
败 的 详细 情况 报告 给 Harry， 请 他 做 进一步 的 分 析 。 


代码 清单 5-1 ”测试 地 图 导航 的 算法 


for pair_of_address in all_pairs_of_american_zip_code: 
directions = call_Google_map_for_direction(pair_of_address) 
for rule in direction_constraint_rules: 
result = rule.call_Google_map_and_check(directions) 
if result.failed: 
result.report_to_tester() 


这 是 一 个 相对 简单 的 测试 程序 ， Harry 用 很 怎 的 时 间 就 完成 了 太 发 。 于 是 
工作 重点 就 变 成 设计 约束 规则 。 开 始 时 ， 他 设计 了 一 条 规则 : “从 A 到 B 的 导 
航路 线 的 长 度 与 从 A 到 B 的 直线 距离 没有 显著 差别 。* 不 幸 的 是 ， 测 试 程序 在 
使 用 这 条 规则 时 产生 了 许多 “ 误 报 *。 因 为 ， 受 到 河流 、 湖 泊 、 山 脉 、 公 园 
等 对 象 的 阻隔 ， 两 地 之 间 的 导航 距离 很 可 能 远 远 大 于 其 直线 距离 。 


Tae, Hany SUN BEA “从 A 到 B 的 导航 路 线 的 长 度 与 从 B 到 A 的 导航 路 
线 的 长 度 没 有 显著 差别 。” 该 规则 可 以 看 作 指 导 词 “产品 本 身 ” 的 一 个 应 用 ， 

它 对 比 谷歌 地 图 的 两 个 输出 来 检查 功能 的 一 致 性 。 在 实际 测试 中 ， 该 规则 

的 误 报 率 较 低 ， 且 发 现 了 一 些 有 趣 的 错误 。 图 5-5 是 当时 Harry 发 现 的 一 个 错 
误 ， 它 显示 了 两 条 出 发 地 和 目的 地 对 调 的 导航 路 线 ， 左 下 方 的 路 线 比 较 合 
理 ， 而 右上 方 的 路 线 则 明显 有 误 ° 


六 用 = 
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Start address: CA 92564 
End address: Long Beach, CA 90813 
Distance: 180 mi (about 3 hours 3 mins) 


Start address: Long Beach, CA 90813 


End address: CA 92564 
Distance: 75.1 mi {about 1 hour 21 mins) Pee 


图 5-5 谷歌 地 图 给 出 了 不 一 致 的 导航 路 线 
分 析 Harry 的 测试 策略 ， 可 以 总 结 出 一 些 实施 约束 检查 的 经 验 。 
。 用 简单 的 程序 去 测试 复杂 的 产品 。 简单 的 测试 程序 更 容易 开发 ， 能 够 
快速 投入 测试 ， 且 可 以 随 着 产品 发 展 随时 调整 。 
用 海量 的 数据 和 局 发 式 规则 去 发 现 失败 案例 ， 让 测试 人 员 做 进一步 调 


且 . 


测试 人 员 用 较 少 的 时 间 构 造 测 试 程序 ， 用 较 多 的 时 间 设 计 约 束 规 则 ， 
分 析 失 败 案例 ， 改 进 约 束 规 则 。 


测试 先知 的 构造 不 是 一 践 而 避 ® 的 。 在 测试 送 代 中 ， 测 试 人 员 需 要 根据 
测试 反馈 ， 修 改 、 堆 换 、 增 加 约束 规则 ， 以 逐步 完善 测试 先知 。 


当 约束 规则 集 不 能 发 现 失 败 案例 时 ， 测 试 人 员 要 考虑 增加 新 的 规则 。 

例如 ， 他 可 以 尝试 新 规则 : “从 地 点 A 到 地 点 B 的 路 线 上 选择 一 个 点 C， 
调用 地 图 获得 A 到 C 的 导航 路 线 和 C 到 B 的 导航 路 线 。A 到 C 的 路 线 长 度 
加 上 C 到 B 的 路 线 长 度 应 该 约 等 于 A 到 B 的 路 线 长 度 。” 


软件 产品 是 多 种 多 样 的 ， 测 试 人 员 可 以 从 多 个 角度 设计 约束 规则 。 以 下 是 
一 些 典 型 的 测试 设计 策略 。 


策略 1: 基于 “数学 性 质 ” 的 约束 规则 利用 数学 知识 构造 检查 规则 


假设 ， 测 试 人 员 需 要 测试 数学 函数 double System.Math.Sin(double x), {4 ttt, 
暂时 没有 参考 程序 或 其 他 测试 先知 。 为 了 快速 地 发 现 严 重 的 缺陷 ， 他 可 以 
考虑 以 下 约束 规则 ， 做 一 些 快速 的 测试 。 


。 在 数学 上 ，sin(x ) 对 于 一 些 输入 值 有 非常 明确 的 结果 ， 例 如 : sin(0) = 
0, sin(0.5xm)=1, sin(n)=0, sin(1.5xm)=-1, sin(2xm)=0° 测试 人 员 
Fee AE Ua, Re BE IAS TBE ai Beat H EME e 


。 在 数学 上 ，sin(x ) 在 区 间 [0, 器 中 单调 上 升 。 测 试 人 员 可 以 在 此 区 间 取 一 
些 点 ， 检 查 相应 的 计算 结果 符合 单调 上 升 的 特性 。 


。 在 区 间 [0, 2x 可 中 均匀 地 取 200 个 点 ， 调 用 被 测 函 数 获得 相应 的 函数 值 ， 
然后 用 软件 绘制 出 函数 值 的 变化 曲线 ， 考 察 该 曲线 是 否 符 合 sin(x ) 的 基 
本 特征 。 图 5-6 是 我 用 Microsoft Excel 绘 制 的 函数 System.Math.Sin 的 散 点 
图 ， 因 为 取 值 点 很 密集 ， 所 以 函数 值 连 成 了 一 条 曲线 。 虽 然 不 能 精确 
判断 ， 但 看 得 出 该 曲线 符合 Sin(x ) 的 基本 特性 。 


图 5-6 double sin(double x) 的 变化 曲线 

虽然 以 上 规则 不 能 保证 被 测 函 数 一 定 正确 ， 但 是 它们 可 以 快速 地 发 现 明显 
的 问题 ， 用 很 少 的 时 间 获 得 基本 的 质量 信息 。 基 于 测 斌 结果， 测试 人 员 可 
以 更 好 地 设计 下 一 步 的 测试 。 

策略 2: 基于 “统计 特性 ”的 约束 规则 利用 被 测 对 象 的 统计 特性 构造 检查 规则 


例如 ， 测 试 人 员 要 测试 函数 double System.Random.Sample0) 能 够 随机 地 返回 
0.0 和 1.0 之 间 的 数 ， 他 可 以 考虑 如 下 约束 规则 。 


。 首先 ， 随 机 数 应 该 均匀 的 分 散在 区 间 (0.0, 1.0) 中 。 测 试 人 员 可 以 调用 
System.Random.Sample(0) 一 万 次 ， 然 后 统计 落 入 (0.0, 0.1], (0.1, 0.2], (0.2, 
0.3], ..., (0.9, 1.0) 这 10 个 区 间 的 随机 数 的 个 数 ， 这 也 检查 了 被 测 函 数 并 
没有 返回 区 间 (0.0,1.0) 之 外 的 数值 。 他 可 以 绘制 出 类 似 于 图 5-7 的 随机 数 
分 布 图 ， 来 检查 其 分 布 是 否 均匀 。 在 图 5-7 中 ，10 万 个 随机 数 大 致 均匀 
地 分 布 在 10 个 区 间 中 。 


0.9-1, 962, 10% 0-0.1, 988, 10% 


0.8-0.9, 1028, 10% 0.1-0.2, 989, 10% 


0.7-0.8, 980, 10% 0.2-0.3, 1002, 10% 


0.6-0.7, 1037, 10% 0.3-0.4, 988, 10% 


0.5-0.6, 1009, 10% 0.4-0.5, 1017, 10% 


图 5-7 随机 数 在 10 个 区 间 的 分 布 


其 次 ， 随 机 数 的 生成 应 该 没有 明显 的 规律 ， 即 不 能 利用 以 往生 成 的 随 
机 数 来 预测 下 一 个 随机 数 。 测 试 人 员 可 以 多 次 调用 被 测 函 数 ， 绘 制 出 
类 似 于 图 5-8 的 随机 数 散 点 图 ， 来 检查 该 规则 。 在 图 5-8 中 ， 随 机 数 的 数 
值 与 男 数 调用 次 数 、 之 前 的 随机 数 、 之 后 的 随机 数 没 有 明显 的 关系 。 
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图 5-8 ”随机 数 的 散 点 图 


测试 人 员 还 可 以 用 更 严格 的 规则 来 测试 随机 数 函 数 。 对 于 随机 性 要 求 不 高 
的 领域 ， 图 5-7 和 图 5-8 的 测试 结 采 表明 随机 数 范 数 并 没有 明显 的 问题 。 


策略 3: 基于 “格式 ”的 约束 规则 检查 数据 符合 特定 的 格式 


现实 世界 的 许多 数据 (如 电话 号 码 、 邮 政 编码 、 日 期 、 电邮 地 址 、IP 地 

址 、 文 件 格 式 等 ) 都 拥有 明确 格式 要 求 。 测 试 人 员 可 以 参考 这 些 格式 ， 设 
计 约 束 规则 去 检查 软件 产生 的 数据 。 例 如 ，Windows 事 件 查 看 絮 显 示 了 操作 
系统 记录 的 事件 和 事件 发 生 的 时 间 。 假 设 当 前 系统 的 地 区 设置 是 “美国 ”， 
那么 它 显 示 的 时 间 字 符 串 的 格式 应 该 类 似 于 “12/21/2012”。 如果 它 显 示 的 时 
间 字 符 串 是 欧洲 格式 ， 类 似 于 “2112/2012”， 那 么 其 日 期 格式 化 功能 存在 缺 
陷 。 再 例如 ， 许 多 程序 会 生成 docx 格 式 的 Word 文 档 ， 以 实现 办 公 眉 动 化 。 
测试 文档 正确 性 的 第 一 步 是 验证 其 格式 。docx 格 式 本 质 是 一 个 压缩 文件 ， 
包含 了 一 批 XML 文 档 和 数据 文件 。 微 软 提 供 的 Open XML SDK? 可 以 检查 一 
个 docx 文 件 是 否 被 正确 压缩 ， 其 包含 的 XML 文档 是 否 符合 正确 的 XML 架 
构 。 于 是 ， 测 试 人 员 可 以 编写 一 个 测试 程序 ， 调 用 Open XML SDK 来 检查 
所 生成 文档 的 格式 。 


3 http://www.microsoft.com/en-gb/download/details.aspx?id=30425 ° 


策略 4: 基于 “业务 知识 ”的 约束 规则 使 用 领域 知识 来 设计 检查 规则 


例如 ，Harry Robinson 根 据 路 线 导航 的 和 常识， 提出 了 一 组 规则 来 检查 谷歌 地 
图 的 导航 结果 。 文 例如 ， 我 曾经 测试 过 一 个 订单 处 理 系统 ， 其 输入 是 一 组 
数量 庞大 的 订单 ， 每 个 订单 有 独立 的 编写， 其 字段 也 有 独立 的 编写。 系统 
分 析 每 个 订单 的 字段 ， 给 出 相应 的 计算 结果， 该 结果 包含 原 订 单 号 或 字段 
号 。 根 据 系 统 的 业务 需求 ， 我 提出 了 “编号 守 己 定律 "， 即 所 有 输入 的 订单 
号 和 字段 号 应 该 出 现在 输出 结 采 中 ， 且 输出 结果 包含 的 编号 必须 存在 于 输 
入 数据 中 。 我 用 代码 实现 了 该 约束 规则 (和 其 他 一 批 规 则 ) 的 自动 检查 ， 
将 其 作为 目 动 化 系统 测试 的 测试 先知 。 在 每 天 执行 的 目 动 化 测试 中 ， 这 批 
规则 发 现 了 许多 现 因 为 代码 改动 而 引发 的 错误 ， 取 得 了 预期 的 检测 效果 。 


总 而 言 之 ， 测 试 先知 的 类 型 是 多 种 多 样 的 ， 每 种 类 型 都 有 目 己 的 优点 和 不 
足 。 测 斌 人员 需要 透彻 地 理解 测试 先知 的 理论 和 方法 ， 知 晓 它 能 发 现 哪些 
类 型 的 错误 、 不 能 发 现 哪 些 类 型 的 错误 。 然 后 ， 从 不 同 关系 人 的 角度 ， 使 
用 多 个 测试 先知 去 检查 软件 的 行为 ， 让 它们 互 为 补充 、 彼 此 增强 。 因 为 测 
试 先知 可 能 存在 缺 汤 ， 他 应 该 在 测试 授 代 中 持续 评 倍 测试 先知 的 有 效 性 ， 
通过 完善 并 补充 测试 先知 ， 来 稳步 提高 测试 检查 的 广度 和 深度 。 


5.4 漫游 测试 


漫游 测试 是 在 特定 主题 指导 下 对 产品 进行 探索 的 一 组 测试 方法 。 不 同 的 漫 
游 测 试 方法 有 不 同 的 主题 ， 侧 重 于 探索 产品 的 不 同方 面 ， 其 共同 的 特征 是 


测试 人 员 会 游历 产品 空间 ， 以 尽力 覆盖 菏 类 对 象 或 发 现 某 类 错误 。 


通常 ， 漫 游 测 试 的 名 字 会 反映 其 主题 般 表 现 为 符 测 对 象 、 测 试 策略 或 
测试 隐喻 。 例 如 ， 功 外 漫游 建议 测试 人 员 ARR 组 相关 的 功能 ;用 户 漫 
游 建 议 测试 人 员 从 用 户 的 角度 考察 产品 功能 ; 出 租车 漫游 以 * 出 租车 ”作为 
隐喻 ， 建议 钠 试 人 员 从 不 同 的 途径 访问 同一 个 功能 。 在 主题 的 指引 下 ， 测 
试 人 员 产 生 一 组 测试 想法 ， 并 在 探索 的 过 程 中 产生 更 多 的 想法 。 因 此 ， 
Cem Kaner 认 为 漫游 测试 是 一 种 结构 化 的 头脑 风暴 方法 [Kaner11] ° 


漫游 测试 的 重心 是 探索 ， 而 探索 的 核心 价值 之 一 是 学 习 。 在 探索 过 程 中 ， 
测试 人 员 不 但 可 以 发 现 缺陷 ， 还 可 以 深入 学 习 软 件 的 业务 规则 和 实现 细 
斑 ， 从 而 提出 更 高 效 的 测试 策略 。 一 些 有 AM A ETENE EAN 
试 计划 之 前 ， 安 排 几 个 漫游 测试 的 测 程 ， 收 集 测 试 计 划 需 要 的 信息 。 这 几 
次 漫游 测试 的 重点 不 是 发 掘 缺陷 ， 而 是 从 测试 的 角度 研究 软件， 其 主要 产 
出 不 是 缺陷 报告 ， 而 是 一 组 测试 文 持 材料 ， 包 括 软 件 的 功能 列表 、 风 险 列 
表 、 测 试想 法 列表 、 需 要 和 覆盖 的 测试 目标 等 。 基于 这 些 信息 ， 测试 人 员 可 
以 更 好 地 规划 测试 ， 选 择 有 针对 性 的 测试 技术 。 


5.4.1 基本 漫游 方法 


自 1990 年 以 来 ，James Bach ` Elisabeth Hendrickson ` Michael Kelly 等 FEN T T 
一 批 具体 的 漫游 测试 方法 [Kanerl1][Bolton09b][Kelly05b]。 基 本 上 ， 这 是 

组 基于 履 盖 的 测试 技术 ， 其 测试 过 程 需要 禾 盖 一 组 预定 的 测试 目标 。 表 5-1 
总 结 了 这 组 方法 的 特征 。 


表 5-1 典型 的 漫游 测试 方法 


功能 漫游 发 现 软件 的 功能 区 域 (功能 列表 的 主干 和 细节 功能 (功能 列表 的 分 
x) 。 在 测试 之 初 ， 测 试 人 员 通 过 功能 漫游 了 解 钦 件 的 整体 情况 ， 建立 功能 l 
表 的 主干 。 在 测试 特定 功能 时 ， 测 斌 人员 用 功能 漫游 描绘 出 功能 列表 的 分 支 ， 
详细 地 禾 盖 一 个 功能 的 细节 (以 及 与 它 协作 的 其 他 功能 ) 


测试 手段 


菜单 和 窗口 漫游 是 一 种 特殊 的 功能 漫游 ， eee aS. (ae ne 
a a aa REE ` 工具 条 、 命 令 图 标 和 其 他 


Se hat OO BY 2S E 


鼠标 和 键盘 漫游 是 一 种 特殊 的 功能 漫游 ， 旨 在 发 现 所 有 鼠标 和 键盘 可 以 触发 的 
功能 。 测 试 人 员 需 要 尝试 左 键 点 击 、 左 键 拖 虑 、 右 键 点 击 、 右 键 拖 上 忠 、 中 键 点 
击 、 深 轮 深 动 等 Bie Te 党 试 各 种 键盘 命令 ， 包 含 FI1~F12 功 能 键 、Esc、 
Shift、Ctrl、Alt 等 。 此 外 ， 测 试 人 员 还 需要 覆盖 鼠标 与 键盘 的 协作 ， 例 如 他 可 
以 探索 在 左 刍 拖 上 忠 时 ， 按 下 Esc 刍 会 发 生 什 么 


业务 是 软件 需要 完成 的 一 项 完整 的 任务 ， 通 常会 涉及 多 个 具体 的 功能 。 业 务 漫 
游 需 要 和 窗 盖 软件 支持 的 所 有 业务 


错误 消息 漫游 禾 盖 软件 所 有 的 错误 消息 。 测 试 人 员 可 以 询问 程序 员 或 扫描 源 代 
码 ， 来 获得 需要 和 宪 盖 的 错误 消息 。 此 外 ， 测 试 人 员 还 可 以 列 出 他 认 大 
报告 的 错误 ， 然 后 尽力 去 触发 。 该 漫游 虽 在 发 掘 软件 可 能 遇 到 的 异常 情况 
发 现 软件 在 异常 处 理 方面 的 缺陷 。 这 说 明 ， 虽 然 许 多 漫游 测试 是 基于 
ea 它们 也 关注 着 软件 的 风险 〈 即 可 能 存在 的 错误 ) ， 并 通过 测试 覆盖 
来 暴露 风险 


变量 温 游 发 现 软件 输入 和 输出 的 变量 。 关 于 变量 的 更 多 讨论 请 参 


测试 手段 


数据 漫游 发 现 软件 的 数据 元 素 (HTSM > 产品 元 素 ~ 数据 元 素 ) ， 即 软件 所 接 
纳 、 处 理 、 产 生 的 数据 


在 了 解 了 软件 的 数据 元 素 后 ， 涡 j 杂 的 、 极 端的 数据 去 测试 软 


件 


软 


Ff 


ee ld .exe) 、 动 态 链接 库 
(ai) 、 配 置 文件 Cini) 、 数 据 文件 (.dat) 、 帮 助 文件 Chip) 等 


F 
a co S 


结构 漫游 发 现 软件 的 结构 元 素 (HTSM 一 产品 元 素 > o 即 构成 软件 
的 实体 ， 包 括 代 码 、 数 据 、 接 口 、 文 档 、 硬 件 、 相 关 网 络 服务 


操作 模式 漫游 发 现 所 有 影响 软件 行为 的 操作 模式 ， 这 通常 意味 着 建立 软件 的 状 
态 机 模型 。 关 于 状态 机 的 更 多 讨论 请 参考 4.2.5 市 


测试 手段 


ee aes 这 通常 意味 着 覆盖 状态 机 的 多 条 路 径 ， 每 条 路 
径 都 覆盖 多 个 状态 和 变 


声明 漫游 发 现 项 关系 人 对 软件 的 所 有 声明 。 测 试 人 员 需 要 研究 显 式 的 规格 说 
户 手 册 > 帮助 文件 、 使 用 教程 、 广 告 文宣 等 ) 和 隐 式 的 规格 说 明 (关系 
牛 、 口 头 表态 、 会 议 纪要 等 ) 。 该 漫游 有 助 于 建立 一 致 性 测试 先知 “ 声 


文档 漫游 根据 软件 的 用 户 手册 、 在 线 文 档 、 使 用 教程 来 覆盖 软件 的 功能 。 测 试 
人 员 依据 用 户 文档 的 指示 来 操作 软件 ， 并 记录 软件 与 文档 的 不 一 致 之 处 


价值 漫游 发 现 软件 为 用 户 提供 的 最 有 价值 的 功能 ， 从 而 理解 软件 的 目标 和 项 目 
团队 的 使 命 。 该 漫游 有 助 于 建立 一 致 性 测试 先知 < 远景 ” 


mS SS 


市 场 处 境 漫游 发 现 软件 的 目标 市 场 的 重要 元 素 ， 包 括 竞争 产品 、 竞 争 产 品 的 特 
所 和 优势 、 产品 用 户 、 用 户 购 买 时 所 考虑 的 因素 等 。 ORED Caer 致 性 
测试 先知 “可 对 比 的 产品 ” 


SF at Sh SS Sat 


测试 手段 


用 户 漫游 覆盖 典型 的 用 户 情 和 «we 员 建 立 几 个 典型 的 用 户 角 色 ， 分 析 他 们 
的 期 望 和 使 用 模式 ， 确 定 典型 的 用 户 情景 和 和 任务， 并 予以 测试 。; 有 助 于 
建立 一 致 性 测试 先知 “用 户 期 望 *。5.6 将 介绍 情景 测试 


配置 漫游 发 现 影响 产品 行为 的 软件 设置 、 操 作 系统 设置 、 硬 件 设置 等 配置 信息 


互 操 作 漫游 发 现 与 软件 一 起 协同 工作 的 程序 和 服务 ， 以 及 软件 与 它们 协作 所 使 
用 的 接口 和 协议 


容 性 漫游 覆盖 软件 的 运行 平台 ， 计算 平台 、 操 作 系统 、 硬 件 设备 等 。 六 
于 一 些 手 机 应 用 ， 它 支持 数 十 种 手机 型 号 ， 全 的 兼容 性 漫游 是 个 现实 的 。 
员 需 要 拟定 设备 选择 手 5 有 率 、 影 响 、 
eR Lae 进行 测试 。 制定 该 选择 方案 的 过 程 也 是 了 解 
产品 价值 的 学 习 过 程 


SE aa FFE OST ak 


测试 手段 


可 测试 性 漫游 发 现 软件 中 支持 测试 的 功能 入 例如 志文 件 记录 了 软件 的 运行 情 
况 、 编程 接口 提供 了 它 的 内 部 状态 等 。 该 漫游 还 可 以 发 现 软件 在 可 测试 
RUNGE LIP AA OMIBI ONE 


风险 识别 漫游 产生 软件 的 风险 列表 。 测 试 人 员 可 以 分 析 软 件 的 各 个 部 分 ， 想 象 
能 ， 以 列 出 一 组 软件 面临 的 风险 。 测 试 人 员 还 可 以 漫游 产品 的 
思考 :“ 此 处 ， 软 件 可 能 发 生 什么 错误 ? 它 可 能 遇 到 什么 异常 情 
2， 以 获得 一 组 潜在 风险 


一 种 特殊 的 风险 识别 漫游 ， 它 通过 输入 极限 值 或 制造 软件 的 极 
状态 错误 。 常 见 的 极限 值 包括 零 、 最 小 值 、 最 大 值 、 空 值 、 
NULL、 2 当 软 件 期 望 用 户 输 入 正 数 时 ) 、 不 正确 的 数据 税 式 等 


的 “| 复杂 性 漫游 覆盖 高 度 复杂 的 用 户 情景 ， 这 些 情 景 往 往 拥有 漫长 的 操作 序列 、 大 
复 | 量 的 用 户 输入 、 繁 复 的 功能 组 合 。 该 漫游 有 助 于 发 现 软件 在 处 理 复 杂 情 况 时 其 
露 的 不 足 和 缺陷 
情 
景 


SS Kt BE Se Ra 


5.4.2 ”基于 旅行 者 隐喻 的 漫游 方法 


测试 专家 James Whittaker 基 于 系统 化 错误 猜测 ， 以 “jE TÆKA ORN, f 
出 了 一 组 测试 方法 [WwWhittaker09]。 他 的 方法 往往 关注 特定 的 风险 和 缺陷 ， 是 
一 组 基于 风险 的 测试 技术 。 表 5-2 归 纳 了 这 组 方法 的 要 点 ， 并 用 阴影 隔 出 了 
相关 的 测试 方法 。 


表 5-2 


R HF ot 


James Whittaker 的 漫游 测试 方法 


测试 手段 


旅行 者 遵循 旅游 手册 来 
漫游 景点 


一 些 旅行 者 会 写 博客 来 
点 评 城市 或 景点 


一 些 旅行 者 会 以 专家 的 
en ee 


指 
南 
漫 
游 
博 
客 
漫 
游 
评 
论 
者 
漫 
游 


参考 旅行 者 对 其 他 景点 
的 评论 来 改进 当前 城市 
的 旅游 品质 


S Ki ON “HRY 


1 | 旅行 者 总 是 访问 城 
最 知名 的 景点 


改行 者 在 地 图 
未， 然后 从 一 个 
一 个 地 标 ， 
的 地 


和 地 | 测 这 人 员 进 择 二 组 相关 的 功能 ， 估 次 测试 ， 真 到 测试 了 所 有 有 


测试 人 员 遵 循 用 户 手 册 的 操作 指令 来 使 用 软件 。 该 漫游 有 助 
于 发 现 手册 与 软件 的 不 一 致 性 


测试 人 员 利 用 第 三 方 博 客 、 用 户 论坛 等 资源 来 收集 用 户 反 
馈 ， 根 据 他们 的 建议 来 测试 软件 。 这 有 助 于 测试 人 员 按照 用 
户 的 使 用 方式 来 测试 软件 


测试 人 员 收 集 批评 者 的 意见 ， 根 据 他 们 的 负面 评论 来 测试 软 
件 。 这 有 助 于 发 现 不 良 设计 对 软件 价值 的 损害 


测试 人 员 从 论坛 、 博 客 、 新 闻 、 专栏 等 处 收集 用 户 对 竞争 产 


测试 人 员 发 现 并 测试 软件 的 卖点 ， 这 通常 是 销售 人 员 和 广告 
资料 重点 强调 的 特性 。 该 漫游 与 之 前 介绍 的 价值 漫游 都 有 助 
于 分 析 软 件 的 核心 价值 是 否 存 在 风险 


。 该 漫游 与 功 人 漫游 相似 都 可 以 探索 学 习 软件 的 功 
用 一 组 地 标 (功能 列表 的 主干 ) 产生 详细 的 地 图 (功能 
列表 的 分 支 ) 


测试 手段 


行者 在 一 处 景点 关门 


i 地形 ”， 其 主要 目标 是 发 现 所 有 功能 的 入 


j 达 ， 只 好 在 停车 


下 向 覆盖 ) 和 有 可 能 发 生 的 问题 (面向 风险 ) , REA 


TR, A 处 


元 的 景点 


有 些 旅行 者 拥有 丰富 的 
th 其 见识 超过 了 导 


一 些 旅行 者 很 挑剔 ， 
打 


断 导 游 的 介绍 
一 些 挑 详 的 问题 


E 


许多 美国 旅行 者 给 人 的 


H] 
标 是 确定 具体 的 游 方法 名 以 应 的 地 方 ， 幸 运 目标 是 发 现 
些 极端 严重 的 缺陷 


测试 人 员 运 用 业务 和 技术 知识 向 软件 提出 极 具 挑 战 的 问题 ， 
例如 : “软件 能 处 理 的 最 大 流量 是 多 少 ? 哪些 操作 会 索取 最 
多 的 内 存 ? ”成 功 运用 该 漫游 的 前 提 是 测试 人 员 深 刻 地 理解 
业务 、 设 计 和 实现 ， 并 可 以 设计 出 有 挑战 性 的 测试 用 例 


测试 人 员 在 测试 软件 时 ， 以 找茬 的 心态 去 挑战 软件 。 他 提出 
会 | 各 种 问题 去 质疑 软件 ， 例 如 : “如 果 我 这 么 做 ， 会 如 何 ? 如 
果 我 偏 不 这 么 做 ， 又 如 何 ? MRR AM, ATARI 
”该 漫游 有 助 于 发 现 程序 员 设计 的 不 足 和 软件 逻辑 的 


测试 人 员 用 一 些 不 合 “正常 "逻辑 的 情景 来 测试 软件 。 例 如 ， 


印象 是 傲慢 自 大 、 无 理 | : 


Bud > SAH A 


点 和 商店 


Si 


测试 人 员 测 试 一 些 在 深夜 运行 的 任务 ， 例如 每 
数据 备份 、 垃 圾 清理 等 


测试 人 员 测 试 软件 的 局 动 过 程 ， 关 注 软件 设置 
、 硬 件 参 数 等 对 启动 的 影响 


` HERAN 


R HF ot 


测试 手段 


联邦 快递 会 携带 货物 在 
城市 间 穿梭 


市 间 


ERE i Bk SE 


测试 人 员 跟 随 一 组 数据 走 遍 软件 的 功能 。 例 如 ， 测 试 
PowerPoint 图 片 时 ， 测 试 人 员 跟 随 一 组 图 片 ， 测 试图 片 导 
入 、 图 片 编辑 、 图 文 混 排 、 图 片 导 出 、 幻 灯 片 打 印 等 功能 ， 
并 时 刻 检查 图 片 操作 的 正确 性 


垃圾 车 会 途经 每 一 个 垃 
圾 箱 ， 并 做 短暂 的 停留 


Bae aie Ht See SF 


出 租车 司机 非常 了 解 城 
市 ， 能 从 多 条 路 线 到 达 
目的 地 


出 租车 司机 有 时 会 尝试 
多 种 路 线 ， 以 到 达 看 似 
无 法 进入 的 区 域 


出 
租 
车 
漫 
游 
出 
租 
车 
禁 
区 
漫 
游 


S | 城市 中 有 脏 乱 差 的 社 
。 旅行 者 会 避 之 不 
， 侦 探 却 要 勇 往 直 


物 | 博物 馆 保存 了 许 
站 | 久远 的 古董 


测试 人 员 选 择 一 组 目标 ， 如 所 有 的 菜单 项 、 所 有 的 错误 消息 
人 
i 


测试 人 员 发 现 并 测试 触发 某 一 功能 的 所 有 途径 ， 或 完成 某 项 
eb 


5 


测试 人 员 瞄 准 一 个 很 难 达到 的 软件 状态 ， 尝 试 各 种 方法 去 驱 
ei 该 漫游 有 助 于 完整 地 考虑 并 测试 一 个 功 


测试 人 员 分 析 软 件 的 哪些 模块 拥有 许多 缺陷 。 因 为 缺陷 常常 
聚集 出 现 ， 而 且 缺 陷 修 复 也 可 能 引入 新 的 问题 ， 所 以 那些 模 
a 测试 人 员 需 要 花 时 间 专 门 测试 这 些 
ER 


测试 人 员 软 件 实现 ， 发 现 哪些 模块 拥有 历史 代码 。 当 这 些 历 
史 代 码 被 修改 ， 或 应 用 在 新 环 境 中 ， 它 们 很 可 能 导致 软件 故 
障 。 因 此 ， 测 试 人 员 需 要 花 时 间 测 试 历 史 代 码 以 及 它们 和 新 
代码 的 交 气 


测试 手段 


测试 人 员 细致 地 比较 当前 版 本 和 先前 版 本 的 行为 。 该 测试 有 
助 于 发 现 严 重 的 兼容 性 缺陷 


旅行 者 会 访问 著名 景 | 测试 人 员 重 点 测试 软件 的 非 主要 功能 。 例 如 ， 对 话 框 上 有 一 
点 ， 也 会 游历 到 周边 地 | 条 指向 帮助 文档 的 链接 ， 很 少 有 用 户 会 注意 到 它 。 测 试 人 员 
区 。 它 们 构成 了 城市 的 | 则 需要 点 击 该 链接 ， 以 检查 它 指向 正确 的 文档 。 该 漫游 有 助 
整体 印象 于 完整 地 测试 软件 的 每 个 功能 


旅行 者 通常 不 会 进入 阴 m 
B | 测试 人 员 重点 测试 很 少 人 使 用 的 功能 ， 以 检查 软件 是 否 可 以 
AOE, ERI | 满足 少数 用 户 的 特殊 需求 5 


旅行 者 既 访 问 华丽 的 景 | 测试 人 员 将 受 欢 迎 的 功能 和 无 人 问津 的 功能 放 在 一 起 测试 。 
点 ， 又 进入 阴暗 的 后 巷 | 这 有 助 于 发 现 一 些 隐藏 很 深 的 集成 缺陷 


配 
角 
漫 
游 
后 
# 
漫 
游 
混 
合 
方 
向 
漫 
游 


oy | 有 此 旅行 者 会 在 酒吧 通 | 测试 人 员 长 时 间 用 各 种 方法 测试 产品 ， 且 不 重新 启动 它 。 访 
is FK a = Nene ay EMEKA TA EIA, 如 计算 误 
g ` A 差 累 积 机 资源 缓慢 泄漏 等 


| 测试 人 员 通 过 测试 去 收集 软件 的 输出 ， 收 集 得 越 多 越 好 。 例 

A pee ， 测 试 PowerPoint 图 片 时 ， 测试 人 员 要 收集 辐 片 导出 

越 多 一 他 们 就 让 Ò 结果 ， 以 履 盖 图 片 格 式 、 图 片 色彩 、 图 片 效 果 、 图 片 尺 寸 
游 DERO | 等 因素 。 该 漫游 有 助 于 周密 地 歼 盖 软件 的 计算 结 


epee | a a oe 
吸引 最 多 的 目光 . 动 字 


测试 手段 


Z MRA mi PRE, 然 后 构造 和 最 长 的 路 径 去 访问 它 ， 2 
ao E 达 到 目的 地 之 前 使 用 尽 可 能 多 的 功能 。 这 有 助 于 测 
试 人 员 更 好 地 理解 软件 ， 并 发 现 多 个 功能 交互 引发 的 缺陷 


在 测试 时 ， 测 试 人 员 启 动 被 测 软 件 的 多 个 进程 ， 让 它们 都 
个 | 购物 者 都 喜欢 买 一 送 一 | 始 工 并 试 着 让 它们 访问 相同 的 资源 (如 本 地 文件 、 网 络 
。 这 有 助 于 发 现 进 程 相互 影响 而 导致 的 软件 错误 


iG |e ab, MAA RET MMOL, thers 


ae 
2 可 答 用 户 问题 ， 阅 读 有 关 产 品 的 博客 、 评 测 和 新 | 


测试 人 员 重 点 测试 软件 的 国际 化 和 本 地 化 特性 ， 例 如 ,软件 
一 个 国际 化 大 都 会 往往 T 9 包括 从 看 句 左 的 阿拉 作 
拥有 不 同文 化 的 社区 ET Gi 有 地 显示 货币 、 日 期 、 数 字 
等 格式 ， 软 件 能 否 正确 地 处 理 多 种 语言 的 输入 等 


In am. N 
里 T Le Am tr AS Nye He 次 件 的 状态 ， 导 致 软 是 WN Dd 
S| Senet «Mma | 要 检查 软件 在 取消 之 后 是 否 可 以 正常 工作 。 此 外 ， 测 试 人 员 
漫 者 ”他 会 继续 上 小 还 可 以 启动 RTE, FEAR, XF $a — MMFIRSIR 
游 作 。 有 些 软件 不 能 正 询 处 理 并 发 计算 。 两 个 同时 进行 的 计算 
可 能 触发 软件 故障 


测试 手段 


i | 整 天 陷 在 沙发 里 看 


有 些 人 很 少 旅行 ， 


旅行 者 会 破坏 环 
， 并 以 此 为 乐 


总 是 充满 反叛 精 
ea 


测试 人 员 尽 可 能 不 提供 或 修改 数据 ， 这 意味 着 接受 软件 提供 
的 默认 值 、 保 持 表单 字段 为 空 、 最 少 的 数据 。 该 漫 
游 检 查 软 件 可 以 处 理 它 提 供 的 默认 值 、 空 值 和 可 选 字段 


测试 人 员 实施 故障 注入 和 错误 容忍 方面 的 测试 。 他 故意 破坏 
或 移 除 软件 操作 需要 的 资源 ， 然 后 强制 软件 执行 注定 导致 失 
败 的 操作 。 该 漫游 将 测试 软件 能 否 合理 地 处 理 (不 可 避免 
的 ) 失败 ， 且 不 会 导致 更 严重 的 后 果 (如 用 户 数据 丢失 ) 


测试 人 员 故 意 与 软件 做 对 ， 想 尽 办 法 让 软件 难堪 。 该 漫游 有 
助 于 检查 软件 能 否 合理 地 处 理 困难 的 任务 和 恶意 的 输入 


该 漫游 是 一 种 特殊 的 反叛 漫游 ， 它 要 求 测试 人 员 输 入 无 效 的 


| 处 理 他 不 喜欢 的 人 或 事 | 数值 来 考验 软件 


犯 会 实施 独 狂 且 无 孔 
不 入 的 攻击 


会 反复 做 同 |} 


该 漫游 是 一 种 特殊 的 反叛 漫游 ， 它 要 求 测试 人 员 扮演 黑客 的 
角色 ， 用 各 种 方法 和 工具 攻击 软件 


该 漫游 是 一 种 特殊 的 反叛 漫游 ， 它 要 求 测试 人 员 以 错误 的 方 
式 或 顺序 来 操作 软件 。 例 如 ， 测 试 人 员 故 意 调换 工作 流 的 步 
骤 ， 故 意 使 用 未 经 初始 化 的 数据 等 


试 人 员 反复 执行 同样 的 一 组 操作 ， 这 些 操作 的 累积 效应 可 
EB 导致 软件 故障 


测试 手段 


Sý hea AE Ba 


VATE Ta Mil, LAS] AS a 它 要 求 测试 
有 些 旅行 者 会 混入 他 人 | 人 员 跟 随 一 个 测试 情景 访问 某 个 功能 ， 然 后 再 利用 另 一 个 测 
的 旅行 团 ， 享 受 其 服务 | 试 情景 去 测试 其 他 功能 。 这 有 助 于 混合 测试 多 个 情景 ， 发 现 
由 功能 交互 引发 的 问题 


5.4.3 ”移动 测试 漫游 方法 


测试 专家 Jonathan Kohl 针 对 运行 在 移动 设备 上 的 软件 ， 提 出 了 一 些 移动 测试 
漫游 方法 [Kohl12]。 其 主要 特点 十 选择 一 组 用 户 的 使 用 情 景 或 移动 设备 的 
特性 〈 触 屏 、 光线 感应 器 、 加 速 感 应 器 、GPS、 无 线 网 络 等 ， 基 于 它们 测 
试 移动 软件 的 功能 。 部 分 方法 无 法 在 办 公 室 内 完成 ， 需 要 测试 人 员 在 室内 
和 户外 真正 “移动 "起 来 。 表 5-3 概 述 了 这 些 方法 的 特点 。 


表 5-3 Jonathan Kohl 的 移动 漫游 测试 方法 


员 访 问 软件 的 每 一 个 界面 ， Dine AREA, CLR > DUCE > 
4 拖 动 、 滑 动 、 旋 转 、 缩 放 等 。 测 试 人 员 检 查 软件 文 持 哪些 手势 、 这 
手势 是 否 足够 、 支持 的 手势 是 吾 被 正确 地 实现 不 文 持 的 手势 是 否 被 妥当 地 名 


人 并 旋转 设备 以 改变 屏幕 方向 ， 从 纵向 视图 变 大 
回来 。 测 试 人 员 检 查 两 种 视图 是 否 一 怪 、 某 个 视图 是 否 F 


T 


下 在 使 用 软件 时 很 可 能 会 改变 | =: 兆 转 到 其 他 界面 ， 其 
o 测试 人 员 需 要 系统 性 地 漫 沪 iE 导航 操作 ， 包 括 : 3 

可 再 进入 、 取消 当前 操作 、 HAJA AN o 
关闭 软件 再 打开 、 切 换 到 其 再 返回 等 。 测 试 人 员 检 查 这 些 
数据 丢失 、 功 能 异常 等 问题 


Ni ON 机 、 机 、 麦 殉 风 、 充 电器 、 无 线 充电 板 、 外 
盘 、 外 置 底座 等 。 > UC HLM PFA ce 很 好 地 协 
关注 配件 的 接 入 和 拔 出 。 例如 ， 测 试 一 款 录音 软件 时 ， 测 试 人 员 需 要 测试 
a lì 牧 麦 克 风 和 外 置 麦 克 风 。 当 录音 还 在 进行 中 ， 拔 出 外 置 麦 区 风 ， 这 时 软 
会 自动 切换 到 内 置 麦 元 风 继续 录音 吗 ? 此 时 ， 再 接 入 外 置 麦 克 风 ， 软 件 会 切换 
回 外 置 麦克 风 吗 


| 许多 时 候 用 广 动 设备 ， 测 试 人 员 需 要 漫游 软件 ， 以 检查 软件 可 以 正确 处 理 加 
速 感 应 器 、 重 力 感 应 器 等 元 件 发 出 的 信号 ， 不 产生 让 用 户 感到 意外 的 情况 。 常见 
由 os 或 放下 设备 、 设 手臂 、 边 走边 用 、 疾 行 时 猛 停 、 将 


| 测试 人 员 需 要 漫游 软件 ， 以 检查 软件 是 否 
T e 清晰 地 显示 内 容 。 常 见 的 测试 环境 包 
括 : 日 光 灯 照 亮 的 房间 、 RRIJA ARIS BEARRA (或 相 

m | 反 ) 、 在 温和 灯光 的 阴影 下 、 在 i 站、 在 猛烈 的 日 光 下 、 在 树 靖 下 、 在 黑 
夜中 、 在 黑夜 的 路 灯 下 等 


| 移动 设备 会 依赖 无 线 网 络 信 号 和 GPS 信 言 号 强 弱 与 位 置 紧密 相关 。 测 试 人 
:| 员 需 要 考察 软件 在 不 同 地 点 的 表现 。 A ae eRe che (步行 或 坐 
久 件 、 在 高 楼 下 使 用 软件 《高 楼 对 信号 有 干扰 ) 、 在 大 楼 内 的 不 同 地 操 
F、 穿 过 大 楼 或 隧道 等 阻 断 信 号 的 地 点 等 


测试 手段 


| 测试 人 员 用 各 种 网 络 情况 测试 需要 通信 的 功能 。 常 见 的 测试 情景 包括 : 各 种 强度 
的 Wi- Fi 网 络 、 各 种 强度 的 3G 网 络 、 从 信号 强 的 Wi Fi 网 络 移动 到 信号 弱 的 网 络 、 
从 Wi-Fi 网 络 移动 的 3G 网 络 、 从 有 信和 号 移动 到 无 信号 、 从 无 信号 移动 到 有 信和 号 

各 种 网 络 情况 下 的 表现 ， 并 检查 它 是 否 可 以 正确 地 处 

状 | ZR Sere 


天 气 会 影响 移动 设备 的 定位 服务 、 光 线 感应 器 、 无 线 通信 等 特性 。 测 试 人 员 漫 游 
F a 以 检查 各 种 温度 和 光线 对 软件 的 影响 ， 常 见 的 测试 场景 包括 ， 寒冷 的 冬日 
j oa E 会 影响 到 触摸 操作 ) 、 阳 光 暴 晒 的 夏 日 (高温 可 能 会 影响 设 
定性 ) 等 


J | 测试 人 员 对 比 移动 软件 在 不 同 操作 系统 上 的 版 本 ， 如 iPhone、iPad、Android、 
Windows Phone ` Windows 8 等 。 如 果菜 个 版 本 缺少 一 项 其 他 版 本 具有 的 常见 功 
fe, 测试 人 员 应 该 报告 缺陷 


WRA N 试 软件 和 peat agi ii 、 音乐 等 ， 与 音频 输入 

、 语音 识别 等 ，。 此 外 ， 人 年 MIE XE 操作 系统 
灯 。 例 如 ， 软 件 正 在 播放 音 组 安排 软件 弹出 会 议 通 
竺 被 中 断 之 后 可 了 在 播放 音乐 时 ， 有 
示 可 以 继续 播 ) 


Eel at a 


N 移动 设备 会 使 用 多 种 技术 ， 测 试 人 员 需 要 漫游 软件 ， 


”~ | 测试 人 员 访 问 移动 软件 的 每 一 个 界面 ， 将 软件 的 设计 与 操作 系统 的 软件 开发 指南 
进行 比较 。 如 果 发 现 当 前 软件 与 推荐 设计 不 一 致 ， 测 试 人 员 需 要 报告 缺陷 


邀请 最 终 用 户 试用 软件 ， 观 察 他 们 的 行为 ， 收 集 他 们 的 反馈 
队 ， 可 以 邀请 开发 者 的 家 人 和 朋友 来 参与 。 此 外 ， 测 试 人 员 还 


色 ， 然 后 扮演 他 们 ， 以 他 们 的 方式 来 使 ) 
用 习惯 ， 用 新 眼光 发 现 以 往 名 视 的 问题 


4 用 户 身 下 或 半身 下 时 ， 他 可 以 舒适 地 使 用 软 


Be ee e ea ee (软件 所 依赖 的 ) 服务 
REOL REMIRAR BXH ERARA 
况 。 如 果 设 备 连 上 电源 ， 相 关 服 务 被 启动 ， 软 件 


降低 CPU 的 运行 速度 。 测 试 人 员 需 要 漫游 软件 ， 


:在 家 时 ， 他 们 很 可 能 身 在 休息 Se ae 


软件。 


以 检查 软 人 人 
让 GPS 和 加 速 感应 器 


司 时 使 用 这 些 技术 。 例 如 ， 测 试 人 员 一 边 走 一 边 使 用 软件 ( 
并 播放 音乐 (使 用 


司 时 工作 ) ， 同 时 让 它 使 用 互联 网 资源 (使 用 无 线 网 络 ) , H 


3 | 声 器 ) ， 还 使 用 各 种 触摸 手势 (使 用 触摸 屏 案 改 变 软件 的 状态 


是 否 可 以 正确 


o 对 于 小 型 开发 团 


可 以 拟定 几 个 典型 


ABFA ERB! 


F o 这 有 有 


软件。 测试 人 员 需 要 检 


否 可 以 正确 地 处 理 
及 告 当前 情 


应 该 恢 


TKS | 


| 极 寒 和 极 热 的 使 用 环境 会 影响 移动 设备 的 硬件 表现 ， 有 可 能 导致 软件 出 现 故障 。 
测试 人 品质 要 在 这 旦 环境 中 漫游 软件 ， 以 检查 软件 是 否 出 现 计算 错误 > 性 能 迟 
组 题 


5j 

其 越 来 越 多 的 用 户 用 多 个 设备 来 协同 工作 。 例 如 ， T E 然 
j 后 用 平板 电脑 下 单 购买 。 又 例如 ， 他 在 桌面 CHL came 然后 使 有 

幕 | 之 | 手机 下 载 并 阅读 ， 接 着 又 在 平板 电脑 上 继续 阅读 。 测 i 可 以 将 信息 

也 分 享 给 其 他 设备 ， 并 接受 来 自 其 他 设备 的 信息 of need , RAE 

可 以 组 成 平滑 的 工作 流 来 完成 同一 项 任务 


测试 人 员 给 软件 施加 压力 ， 让 它 全 力 运 转 或 面临 资源 压力 ， 以 检查 软件 的 性 能 问 
题 和 可 靠 性 问题 。 常见 的 测试 方法 包括 时 运行 多 款 软件 、 让 软件 读 取 空间 耗 
尽 的 存储 卡 、 让 软件 处 理 尺 寸 巨大 的 图 片 、 让 软件 传输 大 量 数据 、 在 低速 网 络 中 
使 用 软件 、 在 低 电 量 时 使 用 软件 等 


Serene 
ae 


DIRAS RITAR > ELSE TE > BERK > ICRF HF 
JE ZSE 的 感觉 ， 这 对 于 移动 软件 非常 

ERE ù HER — IKIE ABIR EURE RE REE, RE 
> 钟 。 更 糟糕 的 是 ， 能 在 A 星 的 恶 评 ， 这 对 移动 软 
民 不 利 的 。 面 对 大 量 的 同类 软件 ， j FE 2B HDR 
LA 的 软件 几乎 没有 机 会 发 团队 可 能 eo 
将 用 户 评分 拉 升 到 3 颗 星 或 更 高 ， 而 这 ris 弥补 一 次 糟糕 发 布 的 


aoe 
ap te SS OH 


= om 
Ht YG 


焦急 的 情绪 下 使 用 软件 ， 例 如 他 上 班 迟 到 ， mo T 边 用 手机 
F | [IS EPN 件 : “ 今 早 的 会 议 我 会 晚 到 一 会 "测试 人 员 需 要 模仿 这 种 情景 ， 用 急 
J | 促 的 动作 和 不 耐烦 的 心态 来 操作 软件 ， 以 发 现 软件 的 不 足 


随 着 智能 手机 成 为 人 们 强烈 依赖 的 联络 工具 和 计算 平台 ， 智 能 手机 厂商 加 
快 了 竞争 步伐 ， 市 场 上 的 新 产品 层出不穷 。 一 些 团 体 和 个 人 会 对 新 产品 进 
行 评测 ， 并 在 网 络 上 用 文字 、 图 片 、 视 频 等 形式 公布 测评 结果 。 对 比 
eee: Kohl 的 移动 漫游 测试 ， 不 难看 出 有 一 些 评测 从 移动 测试 的 角度 存在 
以 下 不 足 。 


。 这 些 评 测 的 主要 形式 是 评测 者 坐 在 室内 把 玩 手 机 ， 只 包含 很 有 限 的 移 
动 场景 。 但 是 ， 用 户 使 用 手机 的 情景 是 丰富 多 样 的 。 他 们 会 缮 着 使 
用 、 边 走边 用 、 坐 在 高 速 行驶 的 车 辆 中 使 用 、 在 不 同 光 线 环境 中 使 
用 、 在 烈日 下 使 用 、 在 黑夜 中 使 用 、 在 各 种 无 线 网 络 中 漫游 .…... 有 限 
的 评测 场景 不 能 全 面 考察 智能 手机 所 遭遇 的 各 种 情况 ， 不 能 很 好 地 反 
映 用 户 在 真实 环境 中 的 使 用 体验 。 


这 些 评测 会 逐个 分 析 智 能 手机 的 特性 ， 如 外 形 、 屏 幕 、 拍 照 、 摄 像 、 
操作 系统 、 经 典 应 用 等 ， 有 些 评测 还 会 逐 项 打分 。 但 是 ， 在 真实 环境 
下 ， 用 户 往往 会 同时 利用 多 个 春 件 特性 ， 运行 多 个 软件 ， ee 
配合 来 完成 任务 。 例 如 ， 智 能 手机 用 户 小 王 在 餐厅 就 餐 。 在 等 

时 ， 她 打算 网 购 一 个 皮包 ， 于 是 打开 手机 ， e 
正在 浏览 页 面 时 ， 手 机 屏幕 上 显示 一 条 提示 : 有 Wi-Fi 网 络 可 用 ， 

连接 ?她 选择 接 入 ， 浏览 器 弹出 新 标签 以 显示 Wi-Fi 确 认 页 面 ， igi 
后 ， 知 能 手机 连 上 Wi-Fi 网 络 。 然 后 ， 她 回 到 先前 的 页 面 给 卖 浏 览 ， 这 
时 浏览 器 开始 使 用 Wi_Ei 网 络 发 送 并 接受 数据 。 不 久 ， 她 发 现 了 一 款 很 
好 的 皮包 ， 但 没有 下 决心 购买 。 为 了 回 家 之 后 在 电脑 上 再 详细 浏览 ， 
她 用 邮件 应 用 将 当前 的 页 面 链接 发 送 到 目 己 的 邮箱 。 在 这 个 简单 的 使 
用 情景 中 ， 用 户 访问 了 智能 手机 的 多 项 功能 ,设计 良好 的 手机 人 Bg 让 用 
户 体验 尽 杀 和 BEI, FOR H AR ERA ARMM TE» 
孤立 地 测试 手机 的 各 个 功能 ， 不 考虑 它们 在 应 用 场景 中 的 交互 ， 就 不 
fE BR 能 手机 在 日 常生 活 中 的 表现 。 


人 
用 户 在 使 用 智能 手机 时 总 是 带 有 或 强 或 弱 的 情绪 。 有 时 强烈 的 情 
感 会 影响 他 的 使 用 方式 ， 反之 智能 手机 的 表现 也 会 严重 影响 用 户 的 情 
绪 。 例 如 ， SIRE POL DEBS 场 婚 礼 。 在 婚礼 现场 ， 照 明 
灯光 组 缓和 关闭， 婚礼 进行 曲 渐渐 啊 起 ， 琵 区 灯 打 癌 大 厅 入 口 ， 新 人 步 
入 殿 音 。 这 时 ， 全 场 欢腾 ， 大 家 纷纷 喝彩 ， 并 拿 出 手机 担 照 。 小 王 也 
受到 全 场 气氛 的 慌 舞 ， 很 开心 地 拿 出 手机 拍照 。 设 计 优 秀 的 手机 能 让 
她 在 墨 暗中 方便 地 局 动 拍照 程序 ， 快 速 地 拍摄 出 高 质量 的 照片 ， 并 轻 
松 地 分 享 给 她 的 好 友 ， 这 让 小 王 在 欢乐 氛围 中 感到 由 圳 的 高 兴 设计 
不 恨 的 手机 会 让 小 王 遭 遇 各 种 问题 : 在 黑暗 的 环境 操作 不 便 、 扫 照应 
用 局 动 缓慢 、 拍 摄 的 照片 效果 不 佳 等 。 这 破坏 了 小 王 原本 快乐 的 心 


情 ， 让 她 感到 焦急 和 不 快 。 平 日 里 可 以 容忍 的 迟缓 和 卡 顿 ， 在 如 此 欢 
乐 的 氛围 中 却 格外 令 人 和 恼怒。 实际 上 ， 市 场 上 的 领军 产品 的 共同 特征 
征 能 够 向 发 出 用 户 强 烈 的 正面 情绪 ， 将 产品 “融入 "其 生活 ， 证 他 或 她 
不 假 思索 地 说 出 : 我 爱 “ 我 的 ”手机 。 可 见 ， 为 了 构建 草 越 的 产品 ， 测 
试 人 员 需 要 考虑 用 户 情 感 。 


评测 是 一 种 简化 的 测试 ， 其 目标 通常 是 在 很 短 的 时 间 内 大 致 了 解 产品 的 各 
方面 ， 以 发 布 宽泛 的 评测 结果 。 因 此 ， 它 们 拥有 以 上 不 足 也 许 是 可 以 接受 
的 。 不 过 ， 也 有 的 人 从 实际 使 用 的 角度 体验 并 分 析 产 品 。 例 如 ， 科 技 作家 
Paul Thurrott 在 评测 Surface Pro 时 ， 编 写 了 一 组 文章 4: 总 评 、 第 一 天 的 使 用 
体验 、 在 旅行 中 使 用 Surface Pro、 用 Surface Pro 取 代 人 台式 机 、 用 Surface Pro 
取代 超级 本 、 对 比 Surface Pro 和 Surface RT 的 阅读 体验 等 。 他 分 析 了 不 同 场 
景 中 Surface Pro 的 优 缺 点 ， 并 讨论 了 如 何 克 服 产品 的 不 足以 获得 更 好 的 体 
验 。 这 组 文章 并 没有 提供 大 量 的 定量 分 析 ， 但 是 基于 使 用 情景 的 定性 分 析 
更 贴近 用 户 的 实际 体验 。 


4 http://winsupersite.com/windows-8/going-pro 9 


作为 专业 人 士 ， 测试 人 员 更 要 深入 考察 移动 应 用 的 使 用 情景 、 功 能 交互 和 
用 户 体 验 。 在 竞争 日 趋 激烈 的 移动 应 用 市 场 ， 只 有 优秀 的 软件 才能 获得 用 
户 的 青睐 。 为 此 ， 测 试 人 员 需 要 深入 用 户 情景 ， 去 全 面 评估 软件 对 用 户 的 
价值 。 传统 软 件 的 测试 人 员 也 可 以 参考 本 节 的 测试 方法 和 背后 的 思想 ， 将 
它们 移植 到 目 己 的 项 目 ， 为 提高 用 户 价值 作出 页 献 。 


5.4.4 实施 漫游 测试 


由 以 上 讨论 可 知 ， 漫 游 测试 是 一 个 测试 方法 家 族 ， 不 同 的 测试 专家 从 各 上 自 
的 实践 出 发 ， 提 出 了 不 同 的 漫游 测试 方法 。 测 试 人 员 学 习 漫 游 测试 ， 不 但 
要 了 解 具体 的 实施 方法 ， 还 要 体会 漫游 方法 针对 的 问题 ， 唯 有 如 此 才能 选 
择 合适 的 方法 来 测试 产品 。 在 选择 漫游 方法 时 ， 他 可 以 考虑 如 下 策略 。 


。 在 项 目 早期 ， 选 择 广泛 漫游 的 策略 。 使 用 功能 漫游 、 业 务 漫游 、 价 值 
漫游 、 地 标 漫游 等 方法 ， 学 习 产 品 并 发 现 明显 的 错误 。 测 试 的 重心 不 
古 深入 模块 或 功能 ， 不 十 控 气 隐 藏 很 深 的 缺陷 ， 而 古 理 解 产 品 的 远景 
和 价值 ， 建 立功 能 之 间 的 联系 ， 获 得 产品 的 整体 模型 。 


。 随 着 项 目 发 展 ， 根 据 项 目 风险 和 已 发 现 的 缺陷 ， 选 择 一 些 深入 漫游 的 
测试 方法 。 使 用 极限 值 漫游 、 复 杂 性 漫游 、 后 巷 漫 游 、 阵 雨 漫游 等 方 
法 ， 针 对 特定 目标 实施 细致 的 测试 。 通 常 ， 之 前 执行 的 功能 淄 游 、 风 


险 识 别 漫游 等 "探索 型 、 学 习 型 ”的 方法 可 以 为 深入 测试 提供 测试 想法 
和 风险 列表 。 


根据 想 要 了 解 的 信息 ， 选 择 合适 的 漫游 方法 。 在 项 目的 任何 时 候 ， 如 
果 测 试 人 员 想 要 获得 特定 的 信息 ， 他 都 可 以 选择 合适 的 漫游 方法 进行 
探索 。 例 如 ， 他 斋 望 了 解 软件 是 如 何 处 理 数据 的 ， 他 可 以 选择 数据 漫 
游 、 数 据 采 样 漫游 、 快 递 漫 游 等 方法 来 探索 软件 的 数据 处 理 。 此 时 ， 
漫游 测试 是 学 习 驱 动 的 。 


根据 想 要 缓解 的 风险 ， 选 择 合适 的 漫游 方法 。 在 项 目的 任何 时 候 ， 如 
条 测试 人 员 想 要 探测 软件 是 否 具 有 特定 类 型 的 缺陷 ， 他 都 可 以 选择 合 
适 的 漫游 方法 进行 攻击 。 例 如 ， 他 感觉 软件 在 并 发 计算 上 并 不 稳定 ， 
于 是 他 选择 阵雨 漫游 、 测 一 送 一 漫游 等 方法 来 强力 探测 。 此 时 ， 漫 游 
测试 是 风险 驱动 的 。 


因为 一 个 具体 的 漫游 方法 只 探索 了 软件 的 一 个 方面 ， 测 试 人 员 应 该 选择 多 
种 漫游 方法 来 实施 多 角度 的 调查 ， 并 随 着 产品 的 发 展 引 入 有 针对 性 的 漫游 
方法 。 他 可 以 通过 漫游 测试 去 掌握 更 多 的 知识 ， 识 别 出 可 能 的 风险 ， 然 后 
安排 狐 的 漫游 测试 去 检查 风险 是 否 其 露 为 缺陷 。 本 质 上 ， 运 用 漫游 测试 是 
ee eer ee a eg 
老 如 下 策略 。 


利用 测 程 实施 漫游 测试 。 即 便 测 试 人 员 不 使 用 基于 测 程 的 测试 管理 

( 详 见 3.2.13 节 和 4.2.2 节 ) ， 他 也 可 以 拿 出 一 个 小 时 的 时 间 ， 作 为 一 个 
测 程 ， 实 施主 题 明确 的 、 时 间 固 定 的 、 专 心 致 志 的 漫游 测试 。 为 此 ， 

测 程 的 主题 应 该 点 出 具体 的 漫游 方法 ， 例 如 “使 用 功能 漫游 来 探索 软件 
的 功能 ， 以 建立 描述 功能 联系 的 功能 列表 *、“ 使 用 风险 识别 漫游 来 探 
索 缺 陷 数 最 多 的 3 个 模块 ， 以 获得 一 份 指导 未 来 测试 的 风险 列表 ”`“ 使 
用 阵雨 漫游 和 测 一 送 一 漫游 来 测试 模块 A， 以 发 现 并 发 计算 的 缺陷 ”。 


利用 测试 发 现 ， 实 施 新 的 漫游 。 在 从 事 某 项 测试 活动 时 ， 测 试 人 员 发 
现 了 一 些 奇怪 的 现象 或 产生 了 一 些 新 的 测试 想法 ， 为 了 一 探究 竟 ， 他 
可 以 选择 合适 的 漫游 方法 立即 展开 测试 。 该 策略 常 被 称 为 "顺路 游 ” 
即 暂 时 偏离 原 测 试 目 标 ， 对 其 他 目标 进行 测试 [Wittaker09] 。 该 策略 可 
以 为 测试 引入 变化 ， 并 捕 提 到 原 测试 策略 没有 考虑 到 的 缺陷 。 如 果 "“ 顺 
路 游 * 可 能 产生 复杂 的 场景 ， 需 要 大 量 的 时 间 ， 会 阻碍 既定 测试 目标 的 
完成 ， 那 么 测试 人 员 应 该 记录 该 测试 思路 ， 并 回 到 原先 的 测试 任务 
E “这 埠 像 在 地 图 上 增加 了 一 个 地 标 ， 测 试 人 员 入 后 会 仔细 探索 该 地 
X o 


此 外 ， 测 试 人 员 还 可 以 根据 项 目 特征 ， 提 出 目 己 的 漫游 方法 ， o 
e 比较 正式 的 方法 是 参考 5.2 节 讨论 的 启发 式 方法 创建 流程 ， 

过 分 析 问 题 、 提 炼 模式 、 提 出 方案 、 试 验方 案 来 构建 自己 的 方法 。 bit 
便 的 做 法 是 修改 现 有 的 漫游 方法 ， 获 得 针对 当前 产品 的 漫游 。 例如 ， 测 试 
人 员 测 试 一 丈 生 成 报表 的 产品 ， 他 可 以 将 收藏 家 漫游 修改 为 < 报表 收集 漫 
游 *”。 该 漫游 要 求 收集 产品 可 以 生成 的 各 种 类 型 的 报表 ， 包 括 空 报表 、 最 长 
的 报表 、 跨 年 报表 、 跨 月 报表 、 不 包含 数据 图 的 报表 、 包 含 最 多 数据 图 的 
报表 等 。 执 行 该 漫游 ， 测 斌 人员 不 但 测试 了 报表 输出 ， 还 对 报表 的 输入 数 
据 、 报 表 的 生成 条 件 、 报 表 的 排版 等 方面 有 了 更 深 的 认识 。 


5.5 ”快速 测试 


快速 测试 是 一 组 基于 风险 的 测 斌 方法， 其 特征 是 针对 某 种 常见 的 软件 缺 
陷 ， 实 施 专 项 攻击 ， 通 常 不 需要 大 量 的 测试 时 间 和 产品 相关 知识 
[Kaner11]。 以 下 是 两 个 例子 。 


。 测试 人 员 在 测试 数值 输入 时 ， 一 般 会 使 用 极限 值 测试 法 ， 即 填 入 最 大 
值 、 大 于 最 大 值 的 值 、 最 小 值 、 小 于 最 小 值 的 值 、 零 值 等 极限 值 。 这 
是 因为 许多 程序 不 能 妥善 处 理 极 限 值 或 极限 值 的 组 合 ， 会 发 生计 算 错 


误 。 


测试 人 员 在 测试 输入 字段 时 ， 富 采用 非法 全 测试 法 。 他 会 在 子 段 中 十 
入 超 长 的 字符 串 或 空 字符 串 、 在 要 求 输入 数值 的 字段 中 填 入 非 数 值 子 
符 串 、 在 要 求 输入 日 期 的 字段 中 填 入 无 意义 的 字符 串 。 这 些 攻 击 都 检 
AARE EEIEIE MEA, 而 不 是 让 恶意 的 输入 破坏 其 状 


态 


在 上 述 案例 中 ， 测 试 人 员 只 需要 了 解 产 品 的 基本 情况 ， 就 能 够 实施 许多 测 
试 ， 并 可 以 在 很 短 的 时 间 内 发 现 一 批 错误 。 


许多 测试 人 员 用 测试 想法 列表 (如 3.2.8 节 介绍 的 “测试 启发 式 方法 备 忘 
单 *[QualityTree06]) 或 检查 列表 (如 3.2.11 节 介绍 的 “You Are Note Done Yet: 
Checklist”[Hunter10]) 来 记录 一 组 相关 的 HEIN tA 法 。 在 许多 情况 下 ， 这 
些 列表 是 比 详细 测试 用 例 更 合适 的 测试 文档 。 以 下 是 它们 的 主要 优点 。 


。 测 试想 法 列表 和 检测 列表 只 记录 了 基本 的 测试 手段 和 少量 具体 案例 ， 
因此 篇 幅 短小 ， 更 容易 编写 和 维护 。 


。 在 实际 测试 时 ， 测 试 人 员 根据 列表 可 以 设计 出 大 量具 体 的 测试 用 例 ， 
即 列表 指明 了 测试 策略 ， 而 具体 战术 则 由 测试 人 员 来 决定 。 这 有 助 于 


发 挥 测试 人 员 的 能 动 性 ， 激 发 出 更 多 样 化 的 测试 设计 ， 从 而 避免 了 刻 
板 测试 用 例 只 测试 特定 操作 的 局 限 性 。 


。 许多 具体 的 测试 用 例 不 会 发 现 错误 ， 因 此 无 需 记 录 在 案 。 少 量 测试 用 
例 发 现 了 重要 的 缺陷 或 值得 调查 的 问题 ， 测 试 人 员 可 以 将 它们 的 核 
想法 纳入 列表 。 这 意味 着 测试 人 员 通 过 实际 测试 来 逐步 完善 列表 ，] 
无 需 在 文档 更 新 上 花费 大 量 时 间 。 


。 测 试想 法 列表 和 检查 列表 可 以 复 用 于 多 个 项 目 ， 使 得 投入 在 它们 号 上 
的 测试 资源 有 更 好 的 回报 。 


快速 测试 的 优势 在 于 用 较 少 的 时 间 快 速 发 现 特 定 类 型 的 错误 。 如 果 测 试 人 
员 发 现 他 经 常 遇 到 一 些 相 似 的 缺陷 ， 他 应 该 考虑 将 相应 的 快速 测试 方法 加 
入 测试 计划 。 如 果 现 有 的 快速 测试 方法 不 能 发 现 此 类 缺陷 (这 是 常见 情 
况 ， 毕 竟 每 个 项 目 都 有 其 特殊 性 ) ， 测 试 人 员 可 以 设计 一 个 快速 测试 方 
法 ， 来 实施 专项 攻击 。 他 可 以 参考 5.2 节 介绍 的 启发 式 方法 建立 流程 ， 通 
过 “分 析 一 设计 一 实验 -再 分 析 ” 的 迭代 来 获得 有 效 的 测试 方法 。 


因为 快速 测试 仅 针对 一 些 津 见 的 软件 缺陷 ， 只 依赖 快速 测试 会 错过 其 他 缺 
4° MA, 快速 测试 没有 充分 利用 产品 的 知识 ， 因 此 不 能 发 现 许多 领域 相 
天 的 缺陷 。 可 见 ， 测 试 人 员 应 该 将 快速 测试 与 其 他 测试 方法 混合 使 用 。 例 
如 ， 他 用 功能 漫游 建立 产品 的 功能 模型 ， 用 价值 淄 游 理解 软件 如 何 服务 于 
用 户 ， 即 通过 基于 禾 盖 的 测试 方法 建立 对 软件 的 整体 认识 。 在 此 基础 上 ， 
他 选择 一 组 快速 测试 方法 对 一 些 功 能 和 情景 进行 攻击 ， 以 快速 发 现 一 批 典 
型 缺陷 。 根 据 所 发 现 的 缺陷， 他 可 以 安排 进一步 的 测试 ， 以 探索 软件 或 实 
施 后 继 攻击 。 


HO Cc» 


5.5.1 James Bach 的 方法 


测试 专家 James Bach 和 Michael Bolton 在 他 们 主持 的 测试 培训 “快速 软件 测 
试 ? 中 ， 介 绍 了 一 批 他 们 第 用 的 快速 测试 方法 [Bach11]。 其 中 一 些 方法 属 了 
漫游 测试 (如 变量 漫游 、 文 件 漫游 、 文 档 漫 游 等 ) ， 已 经 在 5.4.1 节 介绍 。 
本 节 将 介绍 余下 的 快速 测试 方法 ， 详 情 请 参考 表 5-4 。 


325-4 James Bach 和 Michael Bolton 的 快速 测试 方法 


g3 


方 
j 所 针对 风险 测试 手段 


所 针对 风险 测试 手段 


-| 测试 人 员 测 试 产品 最 简单 、 最 直 ` 最 典型 的 情景 ， 完成 一 项 或 多 项 
和 王 务 。 在 此 过 程 中 ， 检 查 其 表现 是 否 符 合用 广 T 品 团队 对 它 的 
， 而 不 会 让 用 户 感 到 疑惑 、 恼 级 、 氛 折 等 负 画 


次 件 操作 ， 立 即 中 断 它 ， 然 后 再 ; 
操作 ， 立 即 暂 停 该 操作 ， 然 后 局 
常 是 点 aan 消 ” 按 钮 、 关 闭 对 话 框 等。 在 
员 可 以 ， aE Hh BEES Ei (或 操作 系统 ) 的 


测试 人 员 启 动 一 项 软件 操作 ， 然 后 破坏 该 操作 所 依赖 的 资源 ， 例 如 删 
它 要 访问 的 文件 、 关 闭 它 将 访问 的 网 络 服务 、 启 动 男 一 个 程序 去 锁 
aaa REBRE 。 RAE Ae HS ee is, AH 
所 遭遇 的 问题 ， 不 导致 严重 的 故障 


ee 测试 人 员 用 一 些 值 配置 软件 的 参数 ， 并 在 软件 运行 过 程 中 ， 修 改 这 些 
i 参数 值 ， 以 检查 软件 能 否 接 受 数据 的 变化 


当 基 些 操作 被 | 测试 员 将 一 组 操作 重复 多 次 ， 用 并 发 的 流程 、 嵌 套 的 结构 去 考验 软 
ig 复 执 行 时 , AETR E ANE, 是 测试 人 员 就 不 断 在 文 
软件 可 能 出 错 | 相框 加 入 新 文本 框 ， 以 增加 媒 套 层次 。 当 文 本 框 嵌 套 层次 达到 上 抵 


HEDE | 时， 操作 这 组 文本 框 有 可 能 发 现 隐藏 的 缺陷 


软件 可 能 存在 | 测试 人 员 长 时 间 测 试 一 球 软 件 ， 不 关闭 它 。 在 此 过 程 中 ， 用 一 些 工 
UREM B | 观察 它 所 使 用 的 资源 ， 包 括 CPU、 AE > RERA > 
数据 库 连 接 等 ， 以 发 现 软件 在 资源 使 用 方面 的 缺陷。 此 外 ， 他 还 需要 
注意 软件 的 功能 是 否 随 测试 时 间 延 长 而 变 得 不 正确 或 不 稳定 


aria 测试 人 员 发 现 相 互 调用 或 共享 数据 的 一 组 功能 ， 然 后 用 夸张 的 数据 或 
交 | 同时 间 ) 编 操作 来 压迫 它们 ， 以 暴露 交互 中 存在 的 问题 


写 ， ， 
辑 可 能 不 一 臻 


所 针对 风险 测试 手段 


> | 软件 不 能 正确 | 测试 人 员 漫游 软件 的 功能 ， 如 果 当 前 功能 提 4 了 上 下 文 相关 的 帮助 ， 
显示 上 下 文 相 | 测试 人 员 调 出 该 帮助 ， 检 查 所 显示 的 内 容 确实 描述 了 当前 功能 ， 能 够 
帮助 用 户 完成 当前 操作 


测试 人 员 发 现 软件 的 输入 变量 ， 尝 斌 击 手段 让 非法 数据 通过 输 


仿 查 代码 


测试 人 员 用 鼠标 疯狂 地 点 击 界面 的 每 一 个 像素 ， 并 持续 敲 击 键盘 。 该 
测试 也 可 以 由 一 个 程序 来 自动 完成 ， 这 样 的 程序 通常 被 成 为 “测试 猴 
子 ”。 整 晚 运行 测试 猴子 可 以 发 现 一 些 资源 泄漏 、 软 件 朋 省 方 面 的 错 


iR 


BIE | 该 测试 的 隐喻 是 用 户 反 复 猛 踩 键盘 将 暴露 意 想不到 的 软件 错误 。 测 试 
都 实施 此 类 攻击 ， 也 可 用 测试 猴子 来 完成 长 时 间 
测试 


FE 有 时 会 输 


比 错 误 的 TE i 
据 “ 但 是 这 | 测试 人 员 将 软件 输出 的 数据 可 视 化 ， 使 得 明显 的 错误 值 可 以 在 瞬间 被 
数据 隐 识别 。 例 如 ， 他 用 电子 表格 加 载 软件 的 输出 ， 然 后 绘制 散 点 图 ° 
藏 在 大 量 的 正 | 如 果 某 几 个 点 不 符合 整体 变化 规律 ， 远 远 地 偏 在 一 边 ， 它 们 很 可 能 
问题 。 测 试 人 员 需 要 对 它们 做 深入 调查 


软件 弹出 错误 消息 表明 它 遇 到 异常 情况 ， 其 内 部 状态 可 能 遭 到 了 破 
坏 。 因 此 ， 测 ese 7 误 消 息 ， 就 要 对 软件 实施 猛烈 的 攻 
击 ， 以 发 现 不 完善 的 异 和 J“ 后遗症” 


所 针对 风险 测试 手段 


EVR ARTE | 测试 人 员 逐 渐 限 制 软件 可 以 使 用 的 资源 ， 例 如 CPU、 AFF > AR > A 
MAT 软件 | See RES, BEARER o ELTER, WEMA PE 
,| 可 能 犯错 资源 限制 ， 并 避免 用 户 数 据 丢 失 、 软 件 朋 并、 操作 系统 崩溃 等 事故 


ARRIE WRAAE, ERREEN, MRN 


造成 的 访问 冲突 、 数 据 破 坏 等 问题 


统 配置 ， 例 如 一 些 视力 减弱 的 老年 人 将 系统 字体 设 
率 调 为 最 低 ， 以 方便 阅读 。 这 些 配置 可 能 会 破坏 软 
些 功 能 不 能 被 正常 访问 。 为 此 ， 测 试 人 员 需 要 用 
测试 软件 ， 以 发 现 由 特殊 配置 引发 的 错误 


James Bach 分 享 了 他 JTA: InCtrl5” (环境 监视 工具 ) 
ProcessMonitor 6 (进程 监视 工具 ) ` Application Verifier 7 (调试 畏 
力 工 具 ) 、Perfmon (Windows 性 能 监视 器 ) ` Process Explorer? ( 进 
H) 、Windows 任 务 管理 器 、 一 个 便宜 的 摄像 类 和 一 款 便宜 
(用 于 拍摄 测试 过 程 ) ` Microsoft Excel (用 于 表格 制作 和 
器 9 等 。 测 试 人 员 需 要 持续 留意 有 价值 的 工 
自己 的 武器 


> http://en.wikipedia.org/wiki/InCtrl5 ° 

c http://technet.microsoft.com/es-ar/sysinternals/bb896645 ° 

7 http://msdn.microsoft.com/en-us/library/ms220948(v=VS.90).aspx ° 
8 http://technet.microsoft.com/en-us/sysinternals/bb896653 ° 


9 http://validator.w3.org/ ° 


不 难看 出 ， 以 上 测试 方法 与 5.4.2 市 介绍 的 一 些 漫游 测试 方法 很 相似 ， 例 
如 “持续 使 用 ”和 “通宵 漫游 ”都 建议 长 时 间 使 用 产品 ，“ 多 个 实例 ?和 “ 测 一 送 
一 ”部 建议 同时 运行 被 测 软件 的 多 个 进程 。 这 说 明 不 同 的 测试 实践 者 针对 和 


见 的 软件 错误 ， 不 约 而 同 地 提出 了 相似 的 测试 策略 。 eh uer 
重新 思考 已 有 的 测试 万 法 ， 将 它 改 造 为 适合 新 情景 的 新 方法 ， 契 掌握 测试 
并 提高 目 身 能 力 的 必由之路 。 恰 如 Cem Kaner 等 所 说 “你 不 a a est, 除 
非 你 重新 发 明 它 [Kaner01]。 测试 人 员 不 应 该 单纯 地 接纳 测试 技术 ， 他 应 该 
分 析 测 试 技术 的 细 方 ， 理 解 其 工作 原理 ， 融 入 目 己 的 经 验 和 其 他 技术 ， 以 
获得 新 的 方法 。 坚 持 这 样 的 研究 和 发 明 将 帮助 测试 人 员 走 向 精通 之 路 。 


5.5.2 Cem Kaner 的 方法 


Cem ee en 也 介绍 了 一 批 他 总 结 的 
快速 测试 方法 [Kanerl1]。 表 5-5 总 结 了 这 批 方法 的 特征 。 


表 5-5 Cem Kaner 的 快速 测试 方法 


所 针对 风险 测试 手段 


测试 人 员 漫 游 用 户 界 面 ， 发 现 是 否 有 任何 令 人 疑惑 、 不 快 、 烦 
噪 的 界面 设计 。 此 外 ， 他 还 可 以 参考 受到 好 评 的 界面 设计 ， 以 
发 现 被 测 产 品 的 可 改进 之 处 


常见 的 测 


e 发 现 ， 的 E 和 边界 ， 测 试 边界 上 的 值 和 临近 边界 的 值 


次 件 在 处 理 数 值 边 界 人 数值 计算 产生 超出 范围 的 值 
时 可 能 出 错 绒 块 输出 其 他 模块 不 能 接受 的 值 ， 例 如 ， 界 面 的 字段 

能 0 个 字符 的 字符 串 ， 测 试 人 员 让 后 台 模 块 产生 21 个 字 
对 串 。 又 例如 ， 后 台数 据 库 的 字段 是 8 位 整数 ， 测 试 人 
前 台 网 页 传递 大 于 255 的 整数 


pa | BCE ROBIE AT | 测试 人 员 要 留意 软件 的 数值 计算 。 如 果 觉 得 某 个 计算 有 滋 


能 洲 出 ， 这 会 导致 计 alk 5 P 
算 错 误 和 安全 漏洞 风险 ， 就 传 入 极 大 值 或 极 小 值 去 触发 潜在 的 溢出 


所 针对 风险 测试 手段 


常见 的 测试 想法 : 
普 误 的 数据 以 测试 数据 转换 ， 例 如 ， 软 件 期 望 用 户 
多， 测试 人 员 就 输入 浮 点 数 、 无 效 字 符 串 、 空 字符 捉 


余 入 接近 零 的 极 小 数值 ， 这 会 产生 很 大 的 计算 结果 ， 有 
A | SCAU ALE i 
n an 
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变量 通常 有 如 下 5 个 状态 ， 测 试 人 员 要 检查 程序 的 对 变量 状态 
一 段 程序 在 使 用 一 个 | 的 假设 是 否 总 是 正确 的 : 
变量 时 ， 可 能 对 该 变 je。 未 初始 化 
: | 量 的 状态 有 不 正确 的 |e 已 初始 
假设 ， 这 会 导致 软件 
“| 故障 经 被 赋予 当前 计算 需 
2 所有 其 他 计算 的 结 昌 


个 变量 设置 值 ， 让 一 些 功能 依赖 于 该 变量 ， 然 后 修改 该 变 

9 值 ， 并 检查 相应 功能 是 否 依然 正确 。 例 如 ，Word 人 允许 在 

软件 可 能 不 能 侦 测 到 当中 插入 “ 域 "?， 以 显 F 的 保存 时 间 。 测 试 人 员 在 文档 
PRS aT 当 才 间 的 域 ， 然 后 更 新 操作 系统 的 时 区 ， 那 么 文档 
TN 会 导致 错 { 后 ， 时 间 字 符 串 应 该 得 到 正确 地 更 新 。 了 例如， 
误 用 浏 i L 上 的 图 片 ， 切 换 到 操作 系统 界面 下 删除 一 些 了 


时 应 用 。 此 时 ， 图 片 应 用 会 如 何 显 刁 


j 除 的 图 片 


| 控制 流 的 意外 跳 转 可 | 测试 人 员 要 想 办 法 打 乱 软件 的 控制 流 ， 例 如 触发 异常 、 输 入 异 
能 暴露 隐藏 的 问题 ”| 常数 据 、 造 成 环境 失败 等 


考虑 反复 执行 对 以 下 操作 | 

ge HEERE 

有 些 软件 错误 会 在 任务 被 迫 中 断 的 操作 

airs + 行 递归 计算 的 操作 

， 测 试 人 员 可 以 编写 测试 程序 ， 用 随机 的 顺序 调用 已 有 的 
测试 用 例 ， 实 施 长 序列 的 测试 


四 所 针对 风险 测试 手段 
象 


如 果 软 件 与 网 络 服务 、 数 据 库 、 其 他 软件 有 任何 形式 的 交互 ， 
炙 件 与 外 界 的 通讯 可 测试 人 员 要 破坏 它们 之 问 的 通讯 。 他 可 以 编写 程序 来 监 昕 并 自 
能 中 上 断 改 消息 ， 或 强制 被 依赖 的 软件 返回 错误 的 消息 ， 以 测 试 软件 如 
tere 的 消息 


测试 异步 调用 时 ， 测 TRA BT eee) Gh 

软件 可 能 对 操作 的 时 | 并 让 B 先 完成 计算 。 有 些 软件 不 能 处 理 后 提交 的 计算 先 返回 的 

序 有 不 正确 地 假设 | 情况 ,会 发 生 故 障 此 外 ， 测试 人 员 可 以 同时 启动 多 个 操作 去 
访问 共享 的 数据 或 功能 ， 以 检查 并 发 计算 是 否 造成 数据 损坏 
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十 因为 某 些 待 提 示 符 ) ae 可 以 在 其 执行 过 程 中 产生 一 些 干扰 。 

i E |。 移 除 该 任务 依赖 的 资源 。 

o 取消 该 任务 。 
o 暂停 该 任务 ， 然 后 继 双 
e 对 于 移动 应 用 ， seen eer 异 幕 或 其 他 应 用 ， 
再 返回 。 
o 启动 其 他 程序 与 被 测 软件 抢夺 资源 
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钦 什 的 错误 处 理 代码 | st EREE, Meme eT RURA 
Win. RER Go fi, (MOI MIGRATE, LIRA RUUILSET BNE Re 

er a ee ET) MU, DRE Rh 是 否 妥当 
poe PUR | 将 软件 恢复 到 正和 的 状态 


m 测试 人 员 要 检查 失败 处 理 代码 的 正确 性 。 例 如 ， 许 多 文本 编 
Rat AERA | 软件 提供 了 自动 俱 复 功能 ， 当 软件 骨 涡 重启 后 ， 它 可 以 显示 用 
es 近 的 编辑 成 果 ， 吉 免 或 降低 了 用 户 数据 的 于 失 。 测 试 人 员 
> 测试 自动 恢复 确实 可 以 恢复 文档 数据 


所 针对 风险 测试 手段 


tHE. 
| (如 Application Verifier) 令 操 作 系 统 的 文件 读 
这 可 以 模拟 出 磁盘 损坏 等 异常 情况 

的 文件 
吏 用 的 文件 
使 用 的 文件 


(杀毒 软件 在 扫描 硬盘 文件 


高 权限 才能 修改 的 文件 
名 或 文件 路 径 的 长 度 超过 操作 系 汉文 持 的 最 大 路 径 


含 操作 系统 禁止 的 字符 
PIE 充 有 特殊 含义 的 单词 ， 例 如 NUL 在 
ws 系统 上 是 一 个 特殊 的 设备 名 ， 不 能 是 文件 名 
巨大 的 文件 

PF F 写 入 只 4 读 的 磁盘 

F 写 入 容量 即将 耗 尽 的 磁盘 
F 写 入 网 络 磁盘 ， 在 写 入 过 程 中 ， 断 开 网 络 

F 写 入 移动 硬盘 ， 在 写 入 过 程 中 ， 拔 出 移动 硬盘 


文件 系统 的 异常 情况 
| 会 影响 软件 的 运行 
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| 在 高 负载 的 压力 下 ， | 测试 人 员 想 办 法 提高 软件 的 工作 负载 ， 并 制造 资源 短缺 的 情 
软件 可 能 出 错 况 ， 以 测试 软件 在 性 能 压力 下 的 行为 


软件 可 能 存在 兼容 性 | 测试 人 员 改变 操作 系统 的 配置 ， 如 日 期 格式 、 时 间 格 式 、 
陷 时 区 、 默 认 语 言 等 ， 以 检查 软件 在 不 同系 统 MRTA 


常见 的 测试 想法 : 

量 的 交互 可 能 |o 用 两 个 有 效 的 值 组 成 非法 的 取 值 组 合 ， 例 如 “2 月 30 日 ” 

次 件 错 误 o 用 相似 的 操作 来 处 理 不 同 的 对 象 ， 例 如 在 Word 中 剪贴 一 台 
对 象 (文字 、 文 本 框 、 图 片 、 形 状 、 艺 术 字 、 域 、 表 格 等 ) 


5.5.3 James Whittaker 的 方法 


James Whittaker 的 测试 名 著 How to Break Software (HTBS) ， 以 失败 模型 为 
基础 ， 介 绍 了 一 批 测 试 方法 [Whittaker01]。 这些 方法 大 多 属于 快速 测试 ， 能 
够 针对 特定 类 型 的 缺陷 实 施 便捷 的 攻击 。 


James 的 矶 陷 模 型 是 一 个 讨论 和 理解 软件 缺陷 的 框架 ， 他 使 用 该 框 染 来 组 织 
ee 。 如 图 5-9 所 示 ， 失 败 模式 主要 关注 点 征 
\ 境 和 能 


。 环 境 足 软件 依赖 或 影响 的 外 部 对 象 ， 典 型 的 例子 是 人 类 用 户 、 文 件 系 
统 、 操 作 系 统 和 与 之 协作 的 软件 。HTBS 写 作 于 2001 年 ， 所 以 它 主要 考 
虑 了 单机 软件 的 环境 。 现 今 ， 网 络 应 用 和 移动 应 用 已 经 成 为 主流 软 
件 ， 测 试 人 员 需 要 考虑 的 外 部 对 象 还 应 该 包括 硬件 设备 〈 如 陀螺 仪 、 
加 速 感应 器 、 光 线 感 应 器 、GPS 等 ) 和 网 络 服务 。 


能 力 是 软件 功能 达成 用 户 价值 的 手段 ， 该 定义 与 Google ACC 的 部 件 通 
过 能 力 实 现 属性 的 理念 是 一 致 的 (Google ACC 的 讨论 参见 3.2.2 节 ) 。 
HTBS 针 对 能 力 实施 测试 ， 主 要 测试 切入 点 包括 软件 的 输入 、 输 出 、 数 
据 、 计 算 和 集成 。 


HAHAA (combinations) 
通过 图 形 界 面 输入 


人 类 用 户 输入 序列 (sequences) 
通过 其 他 程序 输入 
ET 理解 软件 处 理 的 文件 格式 
| 环境 创建 特定 内 容 的 文件 
发 掘 操作 系统 影响 软件 的 途径 
失败 模型 | 操作 系统 | 一 -| 模拟 操作 系统 行为 
使 用 调试 工具 来 辅助 测试 
其 他 软件 
输入 
能 力 人 
数据 
计算 和 集成 


图 5-9 ”失败 模型 关注 环境 和 能 力 


James Whittaker 建 议 测 试 人 员 移 实施 漫游 测试 ， 以 识别 软件 的 界面 

(HTSM > 产品 元 素 ~ 界面 ) 和 相应 的 外 部 对 象 ， 然 后 列 出 外 部 对 象 在 该 界 
面 上 可 以 执行 的 输入 和 观察 到 的 输出 (4.2.2 节 讨论 了 输入 与 输出 模型 ) 。 
此 外 ， 测 斌 人员 还 需要 通过 功能 漫游 识别 出 软件 的 主要 功能 ， 列 出 这 批 功 
能 所 持 有 的 数据 和 所 执行 的 计算 ， 并 理解 功能 之 间 的 依赖 和 协作 关系 。 


在 掌握 了 软件 的 基本 情况 后 


表 5-6 是 HTBS 所 建议 的 攻击 手段 。 


表 5-6 HTBS 的 攻击 手段 
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， 测 试 人 员 可 以 根据 错误 模型 对 软件 进行 测 

试 。 他 专注 于 软件 的 一 个 界面 、 一 项 能 力 和 一 个 可 能 的 失败 ， 实 施 快速 的 
攻击 。 当 攻击 完成 后 ， 他 转向 下 一 个 目标 再 进行 攻击 ， 即 通过 一 场 场 小 规 
模 的 战斗 来 碑 得 一 场 战 役 (赢得 整 场 战争 还 需要 使 用 更 多 的 测试 方法 ) 。 
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输入 


e 使 用 空 值 


o 将 默认 值 改 为 另 
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编程 语言 、 实 现 技术 、 操 
的 期 望 与 限制 ， 然 后 使 用 天 
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正常 协 


E 护 时 出 


Fu 


J a ata! 来 
代码 不 容易 编写 ， 更 容易 在 


EMRA T 


通过 调 AFR T 求 和 实现 ， 


变量 以 识别 真正 相关 的 变量 ， 它 们 通常 属于 同一 个 数 
的 取 据 结构 或 参与 到 同一 项 计算 中 。 然 后 ， 根 据 软件 
直 组 更 用 它们 的 方式 设计 测试 用 例 。 此 外 ， 也 可 以 使 
合 用 4.1 节 介绍 的 组 合 测试 工具 来 产生 测试 用 例 
测试 人 员 反 复 执行 一 些 消耗 较 多 资源 的 操作 ， 或 


coe | 软件 可 能 不 了 解 它 在 空间 和 时 间 | 反复 执行 一 些 产生 大 量 数据 的 操作 。 例 如 ， 在 测 

A A a rae Teme N | 试 在 线 商城 时 ， 测 试 人 员 持续 向 购物 车 中 添加 货 

源 时 ， 它 会 失败 “| 品 ， 创 建 出 一 个 包含 许多 商品 的 “超级 订单 ”。i 
和 当 妾 本 能 导致 所 交 失败 ， 或 令 未 来 的 订单 处 再 
1 困难 


软件 的 输出 不 仅 取决 于 输入 ， 还 | 测试 人 员 需 要 咨询 领域 专家 、 产品 经 理 和 程序 
央 于 其 内 部 状态 、 所 依赖 的 外 | 员 ， 以 了 解 软件 的 业务 规则 和 代码 实现 。 然 后 ， 


[程序 。 如 果 程 序 员 没有 | 通过 测试 来 建立 软件 的 模型 ， 如 4.2.2 节 讨论 的 输 
这 些 因 素 ， 软 件 很 可 | 入 与 输入 模型 、4.2.5 节 讨论 的 状态 机 模型 等 ， 以 
、 自 身 状态 、 外 部 拿 握 钦 件 如 何 处 理 外 部 因素 和 内 部 状态 。 在 此 过 
用 下 失败 ， 他 用 该 攻击 方法 来 探测 软件 的 缺陷 
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重要 影响 


测试 人 员 增 加 、 删 除 、 移 动 屏幕 上 对 象 ， 调 整 软 
F 的 界面 布局 ， 改 变 其 窗 口 大 小 和 位置 ， 在 此 过 
密切 关注 软件 有 没有 正确 地 新 绘 
上。 屏幕 上 不 应 该 出 现 内 烁 、 my ` 对 象 残留 等 
正常 的 情况 


该 攻击 与 “强制 软件 对 相同 的 输入 产生 不 同 的 结 

软件 在 检查 用 户 输入 时 可 能 没有 | 果 ” 相 似 ， 可 采用 相似 的 测试 流程 。 不 同 之 处 在 

.| 考虑 自身 的 状态 ， 而 放 过 了 一 些 | 于 ， 之 前 的 攻击 强调 细致 地 探索 软件 ， 通 过 设 

导致 故障 的 输入 软件 状态 来 产生 特定 的 输出 。 本 攻击 强调 设置 
件 状态 来 让 用 户 输入 产生 失败 


国定 长 度 的 数据 结构 (如 数组 常见 的 测试 想法 ; 

只 能 容纳 特定 数目 的 对 象 。 动 态 一 个 数据 结构 中 连续 添加 数据 ， 直 至 软件 提 
数据 结构 能 够 申请 内 存 去 容纳 更 | 示 容 器 已 满 或 暴露 出 错误 

J | 多 的 对 象 ， a e 取出 一 个 数据 结构 中 的 数据 ， 直 至 软件 提示 容 

Say | 少时 归还 内 存 ， 这 带 来 了 更 复杂 | 器 已 空 或 暴露 出 错误 

的 代码 。 , 测试 人 员 需 要 检查 这 些 
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法 实施 正确 是 一致 的 检查 。 在 钦 各 种 方法 去 绕 过 数据 约束 。 例 如 ， 制 表 功 
d+ FE way Si Me 能 只 允许 插入 256 行 的 表格 ， 测试 人 员 可 以 先 揪 
能 被 破坏 ， 以 至 于 车 遇 法 缺 入 256 行 的 表格 ， 然 后 通过 “插入 行 ”功能 来 突破 
少 一 此 重要 多 检查 el 
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函数 和 散 套 数据 
技巧 n. 测试 人 员 漫 游 软 件 ， 列 出 可 能 包含 递归 区 
误 。 逻辑 | 然后 想 办 法 让 它 无 止境 地 递归 下 去 。 
因为 一 ee 文档 编辑 软件 时 ， 在 图 文 框 
普 误 ， 例 如 大 量 的 函数 | 框 ， 使 舱 套 层次 持续 增长 
所 尽 调 用 栈 的 内 存 ， 正文 中 插入 脚注 ， 然 后 在 脚 ; 


过 大 或 过 小 的 结构 者 
过 大 | 出 错误 。 此 外 ， MEERE 该 攻击 与 “ 令 输入 缓冲 区 溢出 ?相似 ， 基 本 测试 想 
J 结 | 的 结果 是 正确 的 ， 法 是 输入 极限 值 和 特殊 值 ， 并 通过 连续 操作 令 数 
MeT 值 趋向 极 大 值 或 极 小 值 
TEEN 


Se EKKE MERI D Be ha BS 
“组 约定 。 当 不 同 的 人 编写 的 测试 想法 是 用 一 个 功能 去 影响 男 一 个 功能 
ET J 输入 、 输 出、 数据 和 计算 。 由 于 软件 的 功能 很 
Z, ibis Ath ie ARR 于 用 户 价值 像 真实 用 
B 样 使 用 软件 。 在 此 过 程 中 ， 通 过 仔细 地 观察 和 

:| EMBOLI SRT SLI 致 | 发 散 地 思考 ， 识 别 相 互 关联 的 功能 ， 并 进行 攻击 


通过 文件 系统 实施 基于 介质 的 攻击 


测试 人 员 探索 软件 ， 人 出 读 写 文件 系统 的 操 
作 ， 然 a 
: 以 制造 极限 的 情 


了 该 问题 


没有 存储 卡 
访问 拒绝 
常见 的 测试 想法 : 


ee iil 
y ald DL 


句柄 


质 | 软件 不 能 ill az Mi FA SAY Fa sak ASC Bk OR MI TK 
坏 LY F SUE LS RUC 充 的 错误 


te RN i eh 
次 件 应 该 六 I í FEINE’ 

re hin | 测试 人 员 和 需要 尝 习 操作 系统 对 文件 名 的 约束 ， 然 
同 的 约束 ,如 果 它 不 如 | 后 构 信 非 法 文件 各 去 攻击 铁人 


遭遇 失败 


测试 人 员 探 索 软 件 ， en 
在 软件 访问 该 文件 之 前 ， 修 改 其 访问 权限 。 
nro [PARTIE ER 
yh ede Hk ki KJ 

i a BRAY 将 不 能 正 aH 处 理 将 文件 性 修 yay ig 
将 文件 的 者 修改 为 其 他 用 户 马 
JH 该 并 锁 住 该 文件 


RAE. 
JUN Te Bees 逐个 修改 
j 测试 软件 对 它们 实施 了 正确 的 检 
cits 的 结构 。 以 测试 软件 能 
TO EWI 有 生 大 量 的 破损 

意 代码 件 让 软件 让 到 ， 以 英吉 隆基 的 拘 


GB MERRIER 
CE AE LH 


注入 | 软件 很 可 能 不 能 妥当 处 理 操作 系 : 
统 或 被 依赖 的 软件 产生 的 错 HR |g 制造 或 模拟 内 存 错误 
o 制造 或 模拟 网 络 错误 
o 制造 或 模拟 被 依赖 软件 的 异常 


10 在 本 类 攻击 中 ， 因 为 有 些 情景 不 容易 手工 创建 ，James Whittaker 使 用 
一 款 工 具 (Canned Heat) 来 模拟 出 文件 系统 的 异常 情况 。 不 于 的 是 ， 
该 工具 的 开发 与 维护 已 经 停止 了 。 目 前 ， 在 Windows 平 台 上 拥有 相似 功 
能 的 软件 是 微软 的 Application Verifier， 它 功能 强大 ， 但 入 门 难度 较 
高 。 不 过 ， 测 试 人 员 可 以 编写 一 些小 程序 来 模拟 出 类 似 的 情况 


由 以 上 介绍 可 知 ，HTBS 的 内 容 是 一 组 典型 的 软件 失败 情景 和 相应 的 攻击 手 
Ex ° James Whittaker 用 环境 和 人 能力 为 框架 ， 将 它们 有 条 理 地 组 织 起 来 ， 以 便 
于 学 习 、 交 流 和 应 用 。 在 测试 工作 中 ， 测 试 人 员 应 该 收集 典型 的 缺陷 ， 分 
析 它 的 原因 和 症状 ， 并 设计 相应 的 测试 方法 或 启发 式 指导 词 。 一 段 时 间 

后 ， 他 可 以 用 一 个 框架 来 组 织 这 些 方法 和 指导 词 ， 并 将 成 果 分 享 给 测试 小 
组 的 其 他 成 员 。 通 过 有 针对 性 的 测试 设计 和 相互 学 习 ， 测 试 小 组 可 以 更 有 
效 地 发 现 产 品 的 问题 。 


5.6 ”情景 测试 


情景 是 一 个 连贯 一 致 的 故事 ， 描 述 了 特定 用 户 如 何 使 用 软件 。 情 景 测试 将 
个 或 一 组 情景 作为 测试 方案 ， 通 过 运行 软件 来 排演 这 些 故 事 ， 从 而 评估 
软件 的 行为 [Kaner11] ° 


情景 测试 的 主旨 是 从 实际 用 户 的 角度 考察 软件 在 现实 场景 中 的 表现 。 软 件 
产品 是 一 项 解决 方案 ， 它 帮助 用 户 完 成 困难 的 任务 ， 并 达成 业务 目标 。 其 
解决 问题 的 能 力 来 目 于 一 组 相互 文 持 的 部 件 和 功能 。 为 了 检查 软件 的 能 

力 ， 情 景 测试 通过 较 长 的 业务 流程 来 测试 软件 的 多 个 功能 ， 从 而 整体 评估 
软件 对 用 户 的 价值 。 因 为 情景 测试 不 局 限于 特定 的 功能 ， 并 站 在 用 户 的 立 
场 更 全 面 地 考察 软件 ， 所 以 它 可 以 发 现 一 些 整 体 设计 上 的 缺陷 。 此 外 ， 情 
景 测试 履 盖 了 多 个 功能 ， 因 此 有 可 能 炊 露 出 一 些 复 洒 交 互 导致 的 错误 。 


5.6.1 基本 方法 


如 采 缺 少 测试 主题 的 指引 ， 长 流程 的 情景 测试 可 能 会 偏离 方向 ， 变 成 漫 无 
目的 地 游览 。 为 了 有 效 利用 时 间 ， 明 确 测试 方向 ， 测 试 人 员 需 要 构思 一 个 
(或 一 组 ) 用 户 使 用 软件 的 故事 ， 然 后 围绕 故事 组 织 测试 活动 。 以 下 是 一 


个 案例 。 


Microsoft Lync 是 一 款 企业 级 的 统一 通讯 平台 ， 支 持 多 种 形式 的 即时 通讯 
和 在 线 会 议 。 为 了 测试 如 图 5-10 所 示 的 Lync 会 议 功能 ， 测 试 人 员 编 写 了 如 下 
故事 ， 作 为 情景 测试 的 大 纲 。 


U http://lync.microsoft.com/ ° 
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00000 Bo- 
图 5-10 使 用 Lync 2013 进 行 视 频 会 议 


Brian Crum 是 Contoso 公 司 的 一 位 经 理 。 周 一 ， 他 打算 组 织 一 个 在 周 五 
举行 的 视频 会 议 ， 邀请 本 公司 在 其 他 地 区 的 同事 参与 ， 共同 讨论 下 一 
季度 的 产品 营销 策略 。 他 在 Outlook 创 建 了 一 个 Lync 会 议 的 日 程 安排 
(包含 会 议 议 程 、 参 与 会 议 的 拨 入 号 码 、 启 动 Lync 的 链接 等 ) ， 发 送 
给 8 个 同事 。 周 三 ， 他 用 Outlook 更 新 了 会 议 安排 ， 添 加 了 更 详细 的 会 议 
议程 ， 并 多 邀请 了 两 个 同事 参加 会 议 。 周 五 ， 他 在 会 议 前 5 分 钟 打 开 笔 
记 本 电脑 ， 点 击 启动 Lync 的 链接 ， 登 录 到 Lync 会 议 中 。 他 检查 了 摄像 
头 、 麦 克 风 和 耳机 ， 一 切 正 常 。 不 入 ， 一 些 同事 陆续 进入 会 议 ，Brian 
通过 语音 通讯 向 他 们 问好 ， 并 确认 他 们 可 以 看 到 他 分 享 e oa 
灯 片 和 摄像 头 视 频 流 。 等 到 所 有 与 会 者 到 齐 ， 他 开始 会 讲解 下 个 
季度 的 营销 策略 ， 并 在 Lync 中 播放 相应 en 在 此 过 程 
中 ， 同 事 们 通过 即时 消息 或 语 首 通讯 提出 一 些 问题 ， 他 一 一 给 予 回 
答 。 当 回答 一 个 复杂 问题 时 ， 他 调 出 Lync 会 议 的 白板 ， 用 电子 笔 透 过 
触摸 屏 在 白板 上 绘制 草图 ， 进 行 详细 解释 。 然 后 ， 他 切换 回 PowerPoint 
约 灯 户 ， 继 续 讲 解 。 讲 解 完毕 后 ， 作 为 会 议 组 织 者 的 Brian 将 演示 权 赋 
予 同 事 Alex， 让 他 成 为 演示 者 。Alex 用 Lync 展 示 了 他 的 第 二 个 屏幕 ， 
开始 演示 产品 的 新 特性 。 与 此 同时 ，Brian 在 Lync 会 议 中 附 上 一 些 报 


表 ， 以 便 与 会 者 下 载 参考 。 等 Alex 结 束 演 示 ，Brian 重 新 主持 会 议 ， 感 
谢 同事 KenMeyer 进 行 了 会 议 记 录 ， 并 提示 大 家 参考 共享 的 OneNote 会 议 
纪要 。 在 获得 大 家 认可 后 ， 他 结束 了 Lync 会 议 。Brian 对 Lync (及 其 服 
务 器 ) 在 会 议 中 的 表现 感到 满意 ， 愿 意 下 次 继续 使 用 Lync 来 召开 视频 
会 议 。 


这 是 一 个 很 复杂 的 故事 ， 通 过 举办 多 人 参与 的 视频 会 议 ， 测 试 了 产品 家 族 
的 一 组 功能 。 


。 在 Outlook 中 创建 并 更 新 Lync 会 议 的 日 程 安 排 ， 测 试 了 Outlook 与 Lync 的 
集成 。 


使 用 日 程 安排 的 链接 启动 Lync， 测 试 了 Lync 会 议 的 启动 。 


在 多 人 会 议 中 ， 通 过 视频 、 语 音 、 文 字 等 进行 交流 ， 这 可 能 暴露 一 些 
点 对 点 通讯 所 不 能 发 现 的 缺陷 。 


使 用 Lync 播 放 PowerPoint 约 灯 片 ， 测 试 了 Lync 对 内 内 多 媒体 的 文 持 。 
使 用 Lync 白 板 绘制 草图 ， 测 试 了 Lync 对 触摸 屏 和 电子 墨水 的 支持 。 
测试 了 Lync 中 PowerPoint 与 白板 的 来 回 切换 。 

让 他 人 演示 程序 ， 测 试 了 会 议 控 制 权 和 视频 画面 的 切换 。 

使 用 Lync 共 享 第 二 个 桌面 ， 测 试 了 Lync 对 多 显示 器 的 支持 。 


nga 会 者 下 载 ， 测 试 了 Lync 对 附件 上 传 和 下 载 的 文 
寺 。 


。 使 用 OneNote 记 录 会 议 内 容 ， 测 试 了 Lync 与 OneNote 的 集成 。 


在 获得 该 故事 之 后 ， 测 试 人 员 要 做 一 些 测试 准备 。 甫 和 完 ， 他 敢 请 测试 同事 
参与 情景 测试 ， 回 他 们 讲解 故事 和 测试 要 点 ， 并 安排 每 位 测试 人 员 扮 演 一 
个 或 两 个 与 会 者 。 然 后 ， 他 准备 11 台 计算 机 ， 并 搭建 测试 环境 。 这 11 侣 计 
算 机 的 软 人 硬件 配置 要 尽 可 能 的 差异 化 ， 例 如 :; 有 些 计算 机 拥有 高 性 能 处 理 
硕 和 大 内 存 ， 有 些 计算 机 只 拥有 过 时 的 处 理 器 和 小 内 存 ; 有 些 台 式 机 拥有 
外 置 的 高 清 摄像 头 、 遍 档 耳机 和 麦 元 风 ， 有 些 笔记 本 电脑 只 拥有 分 辩 率 很 
(RATA PRR AK ` SR AAA Ae AASA, 有 些 计 算 机 用 电 绝 接 入 
高 速 网 络 ， 有 些 计算 机 接 入 无 线 网 络 《Wi-Fi 网 络 、3G 网 络 等 ) 。 这 样 做 的 
目的 是 尽 可 能 模拟 出 各 类 用 户 接 入 Lync 会 议 时 实际 使 用 的 设备 和 网 络 。 


在 实际 测试 时 ， 每 位 测试 人 员 在 独立 的 房间 中 扮演 各 目的 角色 ， 以 模拟 出 
远程 会 议 的 特点 。 他 们 执行 相应 的 操作 ， 并 密切 注意 任何 异常 情况 ， 如 视 
频 的 内 烁 、 弥 灯 片 播放 的 停顿 、 音 频 的 爆 音 等 。 如 果 一 位 测试 人 员 发 现 问 
题 ， 他 会 几 Lync 通 知 测 试 小 组 镍 停 测 试 ， 以 便 他 收集 本 机 或 服务 端的 日 
` 内 存 转 储 、 硬 件 配置 等 信息 ， 从 而 报告 问题 的 技术 细 世 。 此 外 ， 测 试 
CPHL i EAR DSL 构思 出 几 个 小 的 故事 ， 再 做 一 些 额外 的 调 
合 ， 以 获得 更 多 的 信息 。 在 一 个 长 流程 的 信和 景 测试 中 ， 轰 时 仿 离 测试 万 
和 案 ， 做 一 些 短暂 的 攻击 ， 是 常见 的 测试 策略 。 这 有 助 于 抓 住 测试 中 偶然 发 
现 的 信息 ， 发 据 出 有 价值 的 信息 或 隐藏 的 缺陷 。 一 段 时 间 后 ， 测 试 组 织 者 
应 该 提示 测试 小 组 回 到 原先 的 故事 继续 测试 。 MAMASI HRK, 
MAE DAE Rae, ERARA OCB, eE ROR ATI 
试 重点 。 在 测试 结束 后 ， 每 位 测试 人 员 提 交 所 发 现 的 缺陷 ， 测 试 组 织 者 编 
写 测试 报告 ， 概 述 测 试 过 程 和 禾 盖 范 围 ， 并 提出 值得 进一步 调查 的 问题 和 


风险 2 


以 上 案例 是 一 个 多 人 参与 的 情景 测试 ， 其 基本 要 点 和 步骤 也 适用 于 单 人 执 
行 的 情景 测试 。 


。 编写 情景 测试 的 故事 ， 像 用 户 一 样 复 杂 地 使 用 产品 。 
。 准备 测试 环境 ， 尽 可 能 模拟 出 用 户 的 使 用 环境 。 


。 在 故事 指引 下 ， 积 极地 测试 ， 并 根据 测试 发 现 ， 即 席 设计 并 执行 一 些 
测试 。 故 事 是 地 图 ， 如 何 具体 地 探索 需要 测试 人 员 来 动态 导航 。 


。 测试 人 员 提 交 缺 陷 报 告 ， 并 记录 需要 再 调查 的 区 域 和 风险 。 


在 整个 测试 准备 和 执行 了 过程 中 ， 测 试 人 员 束 像 古 集 编剧 、 守 演 和 主演 于 一 
喘 的 电影 工作 者 。 首 和 完 ， 他 像 编 剧 一 样 书写 测试 剧本 ， 安 排 情 证 大 纲 ， 构 
思 出 引人入胜 的 故事 。 然 后 ， 他 成 为 导演 ， 筹 措 测 试 需要 的 资源 ， 并 忌 控 
测试 进程 。 在 具体 测试 时 ， 他 像 演员 一 样 去 推 融 剧 中 人 物 的 特点 和 风格 ， 
ee 又 即兴 发 挥 ， 在 故事 的 留 日 处 尽情 演绎 。 有 时 ， 他 会 回 
到 导演 的 角度 ， 临 时 加 一 场 戏 ， 以 更 生动 地 展开 故事 ， 或 者 反思 全 局 ， 以 
动态 调整 故事 的 发 展 方向 。 


Cem Kaner 对 于 情景 测试 有 长 期 且 深 入 的 研究 。 他 提出 ， 一 个 好 的 情景 测试 
通常 会 具有 如 下 特征 [Kaner11]。 


。 基于 连贯 一 致 的 故事 。 人 情景 测试 描述 了 用 户 如 何 使 用 软件 ， 并 关注 他 
们 的 目标 和 情感 。 为 此 ， 测 试 人 员 需 要 思考 并 确定 用 户 的 特点 、 他 们 
的 目标 、 他 们 使 用 软件 方式 、 他 们 在 故事 中 的 情绪 等 要 素 。 


。 故事 是 可 信 的 。 当 测试 人 员 将 故事 描述 给 项 目 关 系 人 ， 他 们 会 认为 故 
事 很 可 能 发 生 在 用 户 环境 中 。 这 并 不 意味 着 故事 只 能 覆盖 产品 的 快乐 
Se tra ge Seer 


。 故事 是 有 推动 力 的 。 当 测试 人 员 报 告 故 事 所 发 现 的 缺陷， 项 目 关 系 人 
会 认为 修复 该 缺陷 是 值得 的 。 为 此 ， 测 试 人 员 可 以 用 一 些 局 发 式 问题 
来 帮助 故事 设计 : 谁 会 重视 这 个 故事 描述 的 情景 ? 他 们 为 什么 会 重视 
这 个 情景 ? 如 果 该 情景 失败 ， 它 会 影响 到 谁 ? 失败 造成 的 最 产 重 后 采 
是 什么 ?如果 该 情景 和 失败， 用户 有 没有 替代 方案 ? UREA RS RK 
测 产品 无 天 ， 那 么 用 户 为 什么 要 使 用 该 产品 ? 


故事 引入 了 复杂 性 。 测 试 人 员 在 复杂 的 环境 中 以 复杂 的 方式 使 用 软 
件 。 故 事 的 复杂 性 根源 于 现实 情景 的 复杂 性 ， 采 访 用 户 了 解 他 们 的 实 
际 遭 遇 、 使 用 他 们 的 真实 数据 、 模 拟 他 们 的 操作 环境 ， 都 有 助 于 制定 
复杂 且 可 信 的 故事 。 


测试 结果 易于 评估 。 测 试 人 员 和 项 目 关系 人 能 够 轻松 地 判断 测试 结果 
并 识别 潜在 的 问题 ， 这 对 于 复杂 的 故事 尤为 重要 。 使 用 5.3 节 介绍 的 基 
Fe a era yy Heinen 
测试 结果 。 


Cem Kaner 还 指出 情景 测试 能 够 超越 简单 的 测试 ， 深 入 地 调查 软件 是 否 能 交 
付 它 应 该 交付 的 价值 [Kaner11]。 有 一 些 测试 方法 能 够 发 现 用 户 在 实际 使 用 
的 头 儿 天 会 发 现 的 缺陷 。 例 如 ， 超 模 刘 游 专 注 于 用 户 界 面 的 测试 ， 旨 在 快 
速 发 现 控件 、 文 字 、 动 画 等 在 视觉 呈现 上 的 错误 。 如 果 此 类 错误 被 研发 团 
队 忽视 ， 它 们 很 快 会 被 用 户 察觉 ， 而 且 软 件 的 用 户 越 多 ， 发 现时 间 越 短 。 
好 的 情景 测试 则 可 以 发 现 资 深 用 户 才 会 遇 到 的 问题 。 这 批 用 户 长 时 间 的 使 
用 产品 ， 积 妹 了 几 个 月 其 至 几 年 的 经 验 ， 会 利用 它 完成 重大 的 工作 。 和 情景 
测试 有 助 于 “浓缩 * 使 用 时 间 和 用 户 经 验 ， 在 较 短 的 时 间 内 模拟 出 资深 用 户 
的 高 级 用 法 、 困 难 使 命 和 复杂 语 境 ， 发 现 软 件 的 深层 次 问题 


因为 情景 测试 会 履 盖 多 个 功能 ， 它 要 求 被 测试 的 功能 比较 稳定 ， 较 少 出 现 
阻碍 故事 推进 的 严重 错误 。 因 此 ， 测 试 人 员 需 要 在 功能 级 别 做 足够 的 测 
试 ， 使 单独 的 功能 足够 稳定 ， 然 后 做 一 些 集成 级 别 的 测试 ， 使 功能 协作 足 
够 流畅 ， 之 后 才 进 行 长 流程 的 情景 测试 。 这 说 明 测 试 人 员 需 要 利用 多 种 测 
斌 技术 ， 在 功能 、 集 成 、 系 统 等 层面 进行 有 针对 性 的 测试 ， 才 能 逐步 完成 
对 软件 产品 的 严密 测试 。 


5.6.2 ”设计 用 户 角 色 


情景 测试 的 核心 是 情景 ， 即 一 个 连贯 一 致 的 故事 。 一 个 好 的 情景 将 帮助 测 
试 执行 更 有 效 地 探索 产品 。 本 节 将 介绍 一 些 编写 情景 的 方法 和 技巧 。 


情景 是 讲述 一 位 (或 几 位 ) 用 户 的 故事 ， 因 此 测试 人 员 需 要 全 面 地 理解 用 
户 ， 了 解 其 使 用 软件 的 目的 、 需 要 完成 的 任务 和 的 操作 软件 的 特征 。 用 户 
角色 是 一 种 常见 的 用 户 建 模 方法 ， 能 够 帮助 测试 人 员 从 用 户 的 角度 思考 软 
件 。 开 发 专家 Mike Cohn 提 出 了 一 种 构建 用 户 职责 的 方法 ， 可 以 有 效 地 描绘 
出 产品 需要 支持 的 人 群 ， 并 自然 衍生 出 用 户 角 色 [Cohn04]。 基 于 该 方法 ， 测 
试 人 员 可 以 按 如 下 步 又 构建 用 户 角色 。 


。 利用 头脑 风暴 ， 列 出 可 能 的 用 户 角 色 “。 测 试 小 组 (或 项 目 团队 ) 组 
建 * 用 户 角 色 工 作 小 组 ”>， 进 行头 脑 风 骏 会 议 ， 列 出 一 组 产品 的 用 户 角 
色 。 所 谓 用 户 角色 是 一 个 可 以 代表 一 组 用 户 的 人 物 ， 他 反应 了 一 个 用 
户 群 所 共有 的 特征 。 在 这 个 阶段 ， 与 会 者 的 目标 是 记录 尽 可 能 多 的 用 
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对 产品 成 功 是 否 重 要 等 因素 。 


。 整理 初始 的 用 户 角 色 ， 识 别 出 目 标 和 特征 有 重 到 的 用 户 角 色 。 


。 整合 用 户 角 色 。 如 有 果 两 个 角色 有 重 公 ， 可 以 创建 一 个 新 的 角色 来 涵盖 
他 们 的 特征 。 如 采 两 个 角色 很 相似 ， 可 以 舍弃 其 中 一 个 角色 ， 让 保留 
的 角色 反映 其 特征 。 此 外 ， 工 作 小 组 还 应 该 舍弃 对 产品 成 功 不 太 重 要 
的 角色 ， 以 便 将 精力 集中 在 重要 的 角色 上 。 


。 提 炼 用 户 角色 ， 定 义 具体 的 角色 特征 。 所 谓 角 色 特征 是 将 该 角色 与 其 
他 角色 区 别 开 的 事实 ， 常 见 的 特征 包括 ， 使 用 产品 的 目的 、 使 用 产品 
的 频率 、 对 业务 领域 的 娄 秋 程度 “对 计算 机 的 熟悉 程度 “对 产品 的 了 
和 程度 等 。 


。 添加 角色 的 个 人 信息 ， 如 姓名 、 照 片 、 脾 气 、 处 事 风格 等 ， 令 角色 <“ 有 
血 有 肉 ”。 用 户 使 用 产品 时 总 带 有 个 人 特色 和 主观 情绪 ， 而 好 的 软件 应 
该 做 到 善 解 人 意 。 


以 上 用 户 建 模 的 结果 是 一 组 产品 需要 重点 支持 的 用 户 角 色 。 例 如 ， 
PowerPoint 的 测试 人 员 经 过 分 析 和 提炼 ， 可 能 获得 如 下 用 户 角 色 。 他 们 罗 兰 
了 不 同类 型 的 用 户 群 ， 能 够 传递 出 目标 用 户 对 软件 的 期 望 。 


Alex 征 一 位 职业 演说 家 ，38 多 ， 男 性 ， 经 常 在 各 地 的 大 型 场馆 做 演 

讲 。 他 使 用 电子 幻灯 片 来 增强 演说 的 感染 力 。 对 他 而 言 ， 他 本 人 才 是 
演说 唯一 的 主角 ， 所 以 他 的 幻灯 片 看 上 去 总 是 很 人 镜 涪 。 实 际 上 ， 他 会 
对 么 ] 灯 片 的 每 一 个 细 市 反复 推 融 ， 以 求 最 佳 效 末 。 他 会 放大 文字 的 尺 


寸 ， 让 坐 在 远 处 的 观众 也 可 以 轻松 阅读 。 他 会 使 用 高 分 辨 率 的 图 片 ， 
以 便 在 投影 放大 后 图 片 依然 清晰 动人 。 他 会 要 求 每 个 页 面 的 配色 部 和 
幻灯 卢 整 体 协调 一 致 ， 不 过 有 时 他 会 故意 引入 醒目 的 颜色 来 增强 演说 
的 戏剧 效 打 。 他 对 PowerPoint 的 一 部 分 功能 很 了 解 ， 为 了 优质 的 约 灯 
片 ， 他 会 深入 尝试 他 感 兴 趣 的 功能 ， 但 是 他 需要 花 更 多 的 时 间 在 演讲 
的 研究 、 构 思 和 排演 中 。 


Cameron 是 一 位 商业 分 析 师 ，28 岁 ， 男 性 ， 几 乎 每 周 都 利用 电子 幻灯 片 
问 客 户 讲解 其 研究 报告 的 精华 部 分 。 他 工作 积极 ， 动 作 很 快 ， 是 
Microsoft Word、Excel、PowerPoint 和 OneNote 的 重度 用 户 。 他 会 用 
OneNote 保 存 他 收集 的 各 种 资料 、 链 接 、 素 材 和 临时 的 想法 ， 用 Excel 
做 数据 分 析 ， 用 Word 编 写 研究 报告 ， 用 PowerPoint 展 示 来 目 OneNote、 
Excel、Word 的 图 片 、 表 格 、 数 据 图 等 对 象 。 在 编辑 幻灯 片 时 ， 他 会 同 
时 局 动 多 个 应 用 程序 ， 将 大 量 的 内 容 “ 搬 运 ” 到 PowerPoint 中 ， 并 实施 必 
要 的 后 续 编辑 。 最 后 得 到 的 4] 灯 片 页 数 众 多， 内 容 丰 富 多 样 ， 文 件 尺 
十 巨大 。 有 时 ， 他 会 邀请 同事 共同 编辑 一 个 约 灯 片 文件 ， 让 更 多 的 数 
据 和 观点 得 到 呈现 。 总 体 上 ， 他 对 PowerPoint 的 方方面面 都 很 了 解 ， 能 
够 熟练 运用 大 部 分 功能 ， 并 拥有 很 强 的 学 习 能 力 。 由 于 工作 压力 很 
大 ， 他 比较 没有 耐心， 当 产品 反应 迟钝 或 出 现 漫长 的 进度 条 时 ， 他 会 


显得 有 些 焦躁 。 


Stephanie ~^ KA, 207, WE, 经 党 需 要 是 交 人 研究 报告 以 获得 
这 程 成 绩 和 学 分 。 有 时 ， 任 这 的 教授 不 但 要 求学 生 提交 书面 报告 ， 还 
会 面试 他 们 ， 要 求 他 们 进行 口头 报告 。 为 了 提高 课程 成 绩 ，Stephanie 
会 制作 电子 幻灯 厂 来 帮助 宣讲 。 她 是 一 个 聪明 的 学 生 ， 但 是 对 于 计算 
机 和 软件 的 细节 不 感 兴趣 。 她 的 目标 是 尽快 完成 看 上 去 不 错 的 幻灯 

片 ， 以 便 周 末 去 滑雪 。 虽 然 她 不 会 深入 研究 PowerPoint， 但 是 她 可 不 硕 
望 丑陋 的 幻灯 请 给 教授 留 下 恶 的 第 一 印象 。 如 果 产 品 能 够 帮助 她 快 
速 制作 出 典雅 大 方 的 幻灯 片 ， 她 会 感到 很 满意 。 


根据 这 些 用 户 角色 ， 测 试 人 员 可 以 更 流畅 地 设计 测试 故事 ， 因 为 具体 形象 
让 测试 人 员 能 够 快速 “< 入 戏 ”。 当 测试 人 员 的 头脑 沉浸 在 用 户 角 色 和 环境 

中 ， 一 些 角色 特有 的 目标 、 任 务 和 情 世 了 驶 会 目 然 浮 想 。 例 如 ， 他 构思 

H: “Alex 坐 飞机 去 遥远 的 城市 研究 ， 在 孤单 的 旅程 中 ， 他 断断续续 地 修改 
约 灯 片 ， 并 在 演讲 的 前 夜 做 最 后 的 推 殴 和 人 和 修改。 演讲 时 ， 他 利用 PowerPoint 
的 演讲 模式 ， 精 确 地 掌握 演讲 的 进度 和 时 间 ， 并 在 演讲 结束 后 将 幻灯 片 发 
布 到 上 自己 的 网 站 。” 又 例如 ， 他 编写 出 : “老板 癌 Cameron 和 其 他 两 个 同事 下 
达 指 令 ， 要 求 他 们 立即 完成 一 份 加 大 客户 报告 的 幻灯 片 。 于 是 ， 他 们 利用 
PowerPoint 的 共同 编辑 功能 同时 编辑 一 份 幻灯 片 。 大 多 数 时 候 ， 他 们 工作 在 
目 己 的 弥 灯 页 ， 但 有 时 也 会 工作 于 同一 张 弥 灯 页 。 在 此 过 程 中 ，PowerPoint 


会 和 存储 幻灯 片 的 服务 右 配 合 ， 以 避免 潜在 的 修改 冲突 。” 在 构思 故事 时 ， 
oeo ai 期 望 交 付 的 价值 ， 用 故事 去 检查 软件 确实 达到 了 它 对 
承诺 。 


除了 用 户 角 色 ， 测 试 人 员 还 可 以 访问 实际 用 户 ， 去 获得 他 们 的 真实 故事 。 
很 多 时 候 ， 面 对 面 的 交流 能 够 提供 其 他 任何 方法 不 能 获得 的 信息 。 通 常 ， 

测试 人 员 不 是 实际 用 户 ， 或 者 只 能 代表 广大 用 户 群 的 一 小 部 分 用 户 。 一 些 
用 户 的 目标 、 任 务 和 行为 ， 可 能 是 测试 人 员 前 所 未 见 、 无 法 想象 的 。 因 

此 ， 如 果 有 机 会 ， 测试 人 员 可 以 利用 正 当 或 非 正 式 的 形式 采访 实际 用 户 

与 他 们 交谈 或 共同 操作 软件 ， 以 了 解 他 们 为 什么 使 用 产品 、 要 完成 哪些 任 
务 、 如 何 操 作 产 品 、 感 到 哪些 困惑 和 不 满 、 对 未 来 产品 有 何 种 期 望 等 。 在 
采访 过 程 中 ， 测 试 人 员 可 以 请 客户 讲述 几 个 与 产品 有 关 的 印象 深刻 的 故 

事 。 这 些 故 事 往往 缠 含 了 用 户 的 情感 (否则 不 会 留 下 深刻 的 影响 ) ， 体 现 
De ee 反映 了 现 有 产品 的 优点 或 不 足 ， 值 得 测试 人 
员 认 真 参 考 。 


除了 正面 角色 ， 测 试 人 员 有 时 得 考虑 负面 角色 。 例 如 ， 一 些 恶意 的 攻击 者 
会 在 网 络 上 散布 精心 构造 的 PowerPoint 文 档 。 当 这 些 文档 被 打开 时 ， 它 们 会 
令 PowerPoint 执 行 一 段 恶 意 代 码 ， 从 而 控制 他 人 的 计算 机 或 守 取 私密 信息 。 
为 了 保护 正面 角色 的 利益 ， 测 试 人 员 需 要 研究 负面 角色 的 动机 、 目 标 、 能 
力 和 手段 ， 并 设计 相应 的 测试 方案 。 因 为 安全 测试 的 特殊 性 和 技术 性 ， 该 
方案 需要 包括 一 组 针对 特定 安全 风险 的 专项 测试 技术 。 情 景 测试 有 助 于 从 
负面 角色 的 角度 思考 攻击 ， 可 以 为 测试 方案 提供 有 价值 的 想法 。 


在 有 些 项 目 团队 ， 产 品 经 理会 定义 用 户 角色 。 测试 入 员 可 以 利用 这 些 成 
果 ， 直 接 用 于 情景 测试 的 设计 。 如 末 测 试 人 员 发 现 某 个 角色 很 重要 ， 但 是 
被 产品 经 理 遗 漏 了 ， 他 可 以 与 产品 经 理 面 对 面 地 交谈 ， 了 解 背 后 的 原因 ， 
探讨 更 好 的 角色 设计 。 此 外 ， 有 些 项 目 团 队 会 编写 用 例 或 用 户 故 事 以 帮助 
软件 设计 。 测 试 人 员 可 以 秉持 “ 拿 来 主义 ”， 将 这 批 基 于 情景 的 文案 修改 为 
针对 用 户 角色 的 测试 故事 。 有 时 ， 测 试 人 员 可 以 将 多 个 用 例 或 用 户 故 事 合 
并 为 一 个 大 型 内 情景 测 试 ， 以 实施 复杂 的 长 流程 测试 。 改写 的 基本 原则 仍 
旧 是 保证 故事 的 连贯 一 致 、 可 信 、 复 杂 、 有 推动 力 、 易 于 评 佑 。 


5.6.3 ”情景 测试 与 漫游 测试 


情景 测试 和 漫游 测试 可 以 很 好 地 配合 与 协作 。 在 基本 方法 上 ， 它 们 都 不 依 
赖 刻板 的 测试 脚本 ， 而 是 让 测试 人 员 在 游历 软件 的 过 程 中 发 气 新 信息 ， 构 
思 并 执行 新 的 测试 用 例 ， 因 此 能 够 相互 协作 。 在 测试 方向 上 ， 人 情景 测试 使 
用 故事 作为 指导 ， 专 注 于 用 户 的 价值 、 任 务 和 体验 ， 而 漫游 测试 的 主题 则 
更 加 多 样 ， 可 以 是 一 个 启发 式 指导 词 、 一 个 隐喻 、 一 组 需要 履 盖 的 对 象 、 
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一 些 需要 调查 的 问题 、 一 批 产品 风险 等 。 将 它们 组 合 使 用 ， 可 以 发 挥 各 自 
的 长 处 ， 形 成 互补 的 效果 。 


在 执行 漫游 测试 过 程 中 ， 测 试 人 员 可 以 设计 一 些 情景 ， 通 过 演 绊 这 些 夏 事 
来 丰富 漫 游 测试 的 测试 手段 。 以 下 是 一 些 典 型 的 例子 。 


。 在 实施 用 户 漫 游 时 ， 测 试 人 员 需 要 和 覆盖 典型 的 用 户 情 景 。 他 选择 一 个 
用 户 角 色 作 为 此 次 漫游 的 主角 ， 根 据 他 的 业务 情景 ， 设 计 出 一 组 故事 
来 进行 测试 。 在 执行 故事 的 过 程 中 ， 测 试 人 员 推 融 用 户 对 软件 的 期 
望 ， 笠 斌 他 可 能 使 用 的 万 法 ， 用 有 挑 战 性 的 任务 来 检查 软件 对 用 户 的 


支持 


。 在 实施 价值 漫游 时 ， 测 试 人 员 根 据 产品 远景 需求 文档 、 市 场 文宣 等 
材料 确定 产品 期 望 交付 的 一 组 核心 价值 。 针 对 每 个 核心 价值 ， 他 编写 
几 个 故事 ， 来 检查 软件 确实 达到 了 它 的 承诺 。 


。 在 实施 情绪 漫游 时 ， 测 试 人 员 需 要 重点 关注 产品 在 不 同 用 户 情绪 下 的 
表现 ， 以 及 它 的 行为 对 用 户 情 绪 的 影响 。 为 此 ， 他 可 以 设计 几 个 快 
乐 、 焦 急 、 紧 张 、 恼 奶 的 情景 ， 然 后 在 这 些 情绪 氛围 中 扮演 用 户 ， 尽 
力 模 仿 用 户 的 行为 模式 。 一 个 生动 的 故事 能 够 帮助 测试 人 员 找 到 用 户 
的 “感觉 >， 很 自然 地 模拟 出 用 户 的 操作 ， 并 切身 感受 到 软件 的 行为 对 
使 用 者 的 情绪 有 何 影响 。 


在 实施 情景 测试 的 过 程 中 ， 测 试 人 员 也 可 以 利用 一 些 淄 游 测试 方法 ， 让 它 
们 来 指引 故事 的 发 展 ， 以 拓宽 测试 的 视野 。 以 下 是 一 些 典 型 的 例子 。 


。 测试 人 员 利 用 竞争 者 漫游 来 设计 故事 。 他 漫游 竞争 产品 ， 并 收集 大 众 
对 它 的 评价 ， 接 着 设计 一 组 故事 来 展示 了 它 的 优点 和 魅力 。 然 后 ， 测 
试 人 员 莹 试用 被 测 产品 去 再 现 这 些 故事 。 也 许 被 测 产品 提供 了 不 同 的 
功能 集合 ， 但 是 它 应 该 有 能 力 用 目 己 的 方式 去 完成 故事 ， 并 获得 令 人 
满意 的 结果 。 该 测试 比较 了 两 个 竞争 性 的 产品 ， 检 查 了 被 测 产品 的 实 
际 范 争 力 。 此 外 ， 测 试 人 员 还 可 以 编写 一 些 故 事 来 展示 竞争 对 手 的 不 
站 
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情景 测试 可 以 利用 快递 漫游 来 追踪 一 个 重要 业务 对 象 的 生命 周期 。 例 
如 ， 订 单 是 在 线 交 易 的 核心 对 象 ， 从 新 建 到 关闭 会 历经 多 个 状态 、 涉 
及 多 个 业务 模块 。 测 试 人 员 可 以 设计 一 个 故事 以 完整 地 覆盖 订单 的 状 
态 变 迁 ， 然 后 采用 快递 漫游 来 跟随 订单 走 遇 交易 系统 的 各 个 模块 。 在 
测试 过 程 中 ， 故 事 提供 了 业务 背景 和 用 户 目标 ， 相 比 单纯 的 志 历 模 
块 ， 更 切合 产品 的 实际 使 用 情景 ， 更 有 可 信和 度 和 说 服 力 。 


。 情景 测试 可 以 使 用 垃圾 车 漫游 来 覆盖 一 组 对 象 。 垃圾 车 漫游 建议 测试 
人 员 选 择 一 组 对 象 ， 如 所 有 与 文件 输出 相关 的 界面 元 素 、 所 有 文 持 的 
文件 输出 格式 等 ， 然 后 用 尽 可 能 短 的 路 径 侦 历 这 批 对 象 。 测 试 人 员 可 
以 设计 几 个 故事 来 提供 壳 历 路 径 ， 这 不 但 覆盖 了 对 象 ， 还 通过 故事 所 
表达 的 业务 场景 测试 了 它们 之 间 的 交互 。 构 思 一 个 有 意义 的 故事 会 推 
动 测试 人 员 理解 对 象 之 间 的 联系 ， 从 业务 和 技术 等 角度 考虑 它们 的 协 
作 ， 有 助 于 更 好 的 测试 设计 。 


除了 基于 复 兰 的 漫游 方法 ， 测 试 人 员 在 执行 情景 测试 的 过 程 中 ， 还 可 以 使 
用 一 些 基于 风险 的 漫游 方法 和 快速 测试 方法 ， 对 软件 功能 进行 短暂 但 猛烈 
的 攻击 。 这 有 助 于 发 现 一 些 在 压力 下 才 会 暴露 的 问题 。 有 了 时， 此 类 测试 会 
开辟 出 新 的 情节 ， 让 测试 人 员 设计 出 更 多 的 故事 。 


5.6.4 ”肥皂 剧 测试 


肥 虹 剧 测试 是 情景 测试 的 特例 。 其 发 明 者 Hans Buwalda 建 议 测试 故事 应 该 像 
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以 下 特征 。 


。 源 于 真实 生活 。 好 的 肥 电 剧 来 源 于 生活 ， 即 便 剧 情 难免 夸张 ， 但 是 其 
场景 和 细 市 充满 真实 感 ， 让 观众 感到 亲切 可 人 和信。 测试 故事 也 要 基于 用 
户 的 实际 场景 ， 聚 焦 可 能 真实 发 生 的 故事 。 这 并 不 是 束缚 测试 人 员 的 
手脚 ， 而 是 建议 他 多 了 解 用户 和 业务 。 深 入 地 人 研究 用 尸 领域 、 挖 据 业 
务 细 入， 可 以 获得 深刻 的 情景 ， 揭 示 出 产品 的 深层 次 错误 。 


压 张 。 肥 电 剧 之 所 以 好 看 ， 是 因为 它 夸大 了 生活 中 的 喜 经 哀乐 ， 用 戏 
剧 性 的 手法 让 故事 曲折 动人 。 测 试 故 事 也 需要 用 戏剧 化 的 情节 去 考验 
软件 。 测 试 人 员 用 复杂 的 数据 、 困 难 的 问题 、 沉 重 的 负载 来 挑战 软 

件 ， 因 为 现实 世界 十 如 此 复 洒 ， 那 些 看 似 谷 张 的 情况 本 来 束 是 生活 的 


一 部 分 。 


浓缩 。 肥 时 剧 将 大 量 的 人 物 和 场景 压缩 在 45 分 钟 的 时 间 内 ， 并 展开 多 
个 支线 情节 ， 让 它们 相互 交织 并 彼此 推动 。 肥 蛙 剧 测试 也 需要 在 一 个 
故事 中 浓缩 多 项 业务 ， 通 过 同时 展开 多 个 复杂 的 情况 以 检查 软件 的 设 
计 。 软 件 也 许可 以 分 别处 理 每 一 项 业务 ,但 是 当 多 个 业务 同时 提交 旦 
相互 牵扯 时 ， 软 件 的 设计 缺陷 可 能 会 让 用 户 一 筹 莫 展 。 

乐趣 。 肥 电 剧 的 最 大 吸引 力 是 带 给 观众 乐趣 ， 而 充满 乐趣 的 测试 故事 
能 让 测试 人 员 热 情 融 涨 ， 思 维 活路 。 软 件 测试 是 高 水 平 的 智力 活动 ， 
需要 测试 者 全 力 投 入 。 有 趣 的 测试 情景 不 但 可 以 帮助 测试 人 员 全 身心 


投入 ， 而 且 能 够 激发 测试 人 员 的 灵感， 让 他 们 发 展 出 更 好 的 文 线 和 细 
T° 


ee 可 以 用 更 夸张 的 场景 将 5.6.1 节 的 故事 改写 为 下 面 


Brian Crum 是 Contoso 公 司 的 总 裁 。 他 从 欧洲 的 总 部 飞 到 纽约 主持 新 产 
品 的 发 布 会 。 他 原 打算 周一 飞 回 欧洲 ， 在 周三 主持 全 体 员 工大 会 ， 谁 
知 周一 当天 雄风 雨 突 袭 纽约 ， 导 至 所 有 航班 被 取消 。 无 妹 之 下 ， 他 突 
然 想 到 可 以 用 Lync 进 行 视频 会 议 ， 便 吟 只 秘 书 Bonnie 安 排 一 个 全 体 欧 
洲 员工 参加 的 Lync 会 议 ， 顺 便 也 邀请 亚洲 的 员工 一 起 参加 。 于 是 ， 
Bonnie 安 排 了 一 个 跨 3 个 时 区 、 包 含 1000 多 个 与 会 者 的 视频 会 议 。 会 议 
当天 ，Brain 和 1000 多 个 员工 陆 陆 续 续 登录 到 Lync 会 议 中 。Brain 看 着 
Lync 中 "一望无际 ”的 与 会 者 列表 ， 感 到 很 满意 ， 于 是 在 即时 消息 的 窗 
口 键 入 “hi 并 发 送 。 在 几 秒 内 ， 有 近 百 名 员工 回复 问候 ， 即 时 消息 的 寄 
口 飞快 地 滚 过 他 们 的 消息 。Brian 转 头 对 在 另 一 台电 脑 上 参与 会 议 的 
Bonnie 说 : “我 要 开始 会 议 了 ， 请 帮 我 做 记录 。” 然 后 ， 他 取消 麦 元 风 的 
静音 ， 打 开 摄 像 头 ， 局 动 PowerPoint 分 享 ， 几 秒 种 后 他 的 视频 和 幻灯 片 
图 像 传递 到 欧洲 和 亚洲 。 在 Brian 演 讲 的 过 程 中 ， 几 和 于 名 员工 都 可 以 看 
到 他 的 视频 和 分 享 的 幻灯 片 。 因 为 通信 距离 跨越 大 洋 ， 视 频 和 幻灯 片 
动画 有 一 些 延 迟 ， 但 是 总 体 还 算 流 畅 。 演 讲 结 束 后 ，Brian 将 演示 权 赋 
予 在 欧洲 的 副 总 裁 Alex， 让 他 报告 公司 在 欧洲 运营 的 情况 。 很 快 ， 
Brian 和 其 他 与 会 者 看 到 Alex 的 视频 信号 ，Alex 分 享 了 他 的 第 二 个 屏 

幕 ， 用 Excel 的 Power View 展 示 了 多 幅 动 态 图 表 ， 介 绍 了 欧洲 业务 在 过 
去 一 个 季度 的 变化 。 流 畅 的 视频 很 好 地 展示 了 动态 图 表 的 动画 效果 ， 
Alex 的 报告 很 成 功 。 人 然后 ，Alex 将 演示 权 转 移 给 亚洲 的 副 总 裁 Ken， 请 
他 介绍 亚洲 业务 的 情况 。 当 Ken 结 束 报告 ，Brian 重 新 主持 会 议 ， 他 宣 
布 进入 Q&A 环 下， 请 与 会 者 提问 。 于 是 ， 有 几 十 个 人 开始 键入 问题 ， 
很 快 即 时 通讯 窗口 束 翻 过 去 好 几 屏 。Brian 只 好 随机 挑选 几 个 回答 。 在 
回答 过 程 中 ，Brian、Alex、Ken 轮 流 发 言 ， 并 不 时 地 相互 补充 。 与 会 者 
可 以 同时 看 到 他 们 的 视频 ， 听 到 他 们 的 声音 。 终 于 ， 大 会 临近 尾声 ， 
Brian 提 示 大 家 此 会 议 有 共享 的 OneNote 会 议 纪要 (由 Bonnie 记 录 ) ， 与 
此 同时 他 、Alex 和 Ken 分 别 上 传 了 会 议 所 使 用 的 幻灯 片 和 数据 文件 ， 供 
大 家 下 载 。 在 感谢 大 家 参与 后 ，Brian 结 束 了 Lync 会 议 。 


除了 序 盖 原故 事 所 有 的 测试 点 ， 以 上 故事 还 测试 了 更 复杂 的 情况 。 
。 在 Outlook 中 创建 路 时 区 的 Lync 会 议 。 


。 在 上 千 人 的 会 议 中 ， 通 过 视频 、 语 音 、 文 字 等 进行 交流 。 这 给 Lync 服 
务 需 集群 市 来 了 巨大 的 工作 负载 ， 根 本 性 地 改变 了 测试 情景 。 在 低 负 


载 情况 下 可 以 通过 的 测试 有 可 能 在 这 样 的 负载 下 失败 。 
。 测 试 了 近 百 人 同时 输入 文字 的 情况 。 
。 测试 了 多 人 同时 说 话 的 情况 。 
。 测试 了 多 人 同时 上 传 数 据 的 情况 。 


在 实际 测试 过 程 中 ， 测 试 人 员 还 可 以 引入 更 夸张 的 测试 想法 。 例 如 ， 他 可 
以 模拟 几 十 个 人 同时 说 话 或 十 几 个 人 同时 分 享 视频 的 情况 ， 以 测试 这 些 情 
景 对 Lync 服 务 磊 和 客户 端的 影响 。 这 些 高 负载 的 场景 将 骏 露 出 软件 漆 构 的 
局 限 ， 从 而 有 助 于 研发 团队 更 好 地 评估 和 优化 Lync 在 大 型 会 议 中 的 表现 。 


5.6.5 ”虚拟 业务 


在 情景 测试 中 ， 创 建 并 运 维 虚 拟 业 务 是 一 项 常见 的 测试 方法 。 例 如 ， 测 试 
数据 库 产 品 时 ， 测 试 人 员 可 以 基于 被 测 数 据 库 开发 一 个 库存 管理 系统 ; 测 
试 B2C 在 线 商城 时 ， 测 试 人 员 以 电 商 (卖家 ) 的 身份 搭建 一 个 在 线 专卖 店 ， 
并 使 用 虚拟 严 家 模拟 出 上 架 、 下 单 、 出 货 、 退 货 、 补 货 等 业务 行为 ; 测试 
报表 软件 时 ， 测 试 人 员 用 被 测 产品 制作 本 部 门 的 季度 营 收 报表 ， 并 发 布 给 
测试 小 组 成 员 审 阅 。 运 营 虚 拟 业 务 ， 可 以 帮助 测试 人 员 考 察 产 品 在 实际 业 
务 环境 中 的 表现 ， 不 但 可 以 测试 到 重点 的 业务 和 情景 ， 还 可 以 获 盖 一 些 不 
经 党 执行 但 是 很 重要 的 操作 ， 例 如 数据 库 的 备份 与 恢复 、 在 线 数据 的 导出 
与 导入 、 报 表 的 共享 与 反馈 等 。 


除了 情景 测试 的 一 般 特 性 外 ， 测 试 人 员 还 可 以 参考 如 下 建议 ， 使 基于 虚拟 
业务 的 测试 过 程 更 加 有 力 。 


。 业务 主题 可 以 戏剧 化 。 测 试 人 员 可 以 选择 一 个 有 趣 的 主题 作为 业务 的 
目标 。 例 如 ， 测 试 PowerPoint 上 时， 测试 人 员 以 “吸血 时 攻击 完全 防备 攻 
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正面 作用 。 一 方面 ， 它 暗示 测试 是 “无 约束 ”的 ， 让 测试 人 员 用 更 发 散 
的 思路 去 设计 测试 ， 另 一 方面 ， 互 联网 上 有 大 量 此 类 主题 的 动漫 、 电 
影 和 资料 ， 测 试 人 员 很 容易 获得 相关 素材 来 创作 幻灯 片 。 在 根本 
上 ,“ 有 趣 ” 是 一 个 重要 的 测试 推动 力 ， 它 激发 了 测试 人 员 的 兴趣 ， 引 
发 了 更 多 的 测试 想法 。 


工作 成 果 要 追求 高 品质 。 测试 人 员 应 该 用 高 质量 标准 去 要 求 测 试 过 程 
产生 的 业务 成 果 。 如 果 测 试 结果 是 产生 一 份 PowerPointZ]J 灯 片 ， 那 么 该 
约 灯 片 应 该 是 一 份 可 以 被 公开 发 布 的 、 在 广大 观众 中 获得 好 评 的 优质 
文档 ， 它 不 但 拥有 丰富 的 内 容 ， 还 具备 精致 的 排版 。 高 质量 标准 意味 


着 强力 的 约束 ， 而 真实 用 户 在 编辑 文档 时 也 面临 多 种 现实 约束 。 好 的 
软件 会 帮助 用 户 去 应 对 约束 ， 而 不 是 让 他 们 感到 挫折 ， 这 是 情景 测试 
的 检查 重点 。 此 外 ， 高 质量 标准 要 求 测试 人 员 对 文档 的 内 容 和 外 观 进 
人 


测试 手段 要 多 样 化 。 一 个 用 户 往往 以 固定 的 模式 去 使 用 软件 ， 所 访问 
的 特性 集合 也 是 有 限 的 ， 但 是 一 组 用 户 会 覆盖 软件 的 大 部 分 特性 。 为 
了 提高 测试 的 “广度 ”， 测 试 人 员 应 该 时 刻 提 醒 自 己 去 使 用 尚未 党 试 的 
特性 。 例 如 ， 在 测试 PowerPoint 时 ， 他 可 以 考虑 在 一 个 页 面 中 使 用 尽 可 
能 多 的 特性 ， 并 确保 最 终 效果 是 美观 一 致 的 。 这 要 求 他 综合 并 协调 多 
个 特性 的 效果 ， 通 过 精细 地 控制 来 组 织 多 种 页 面 元 素 。 这 些 测试 会 在 
一 个 局 部 “浓缩 * 多 个 功能 ， 有 助 于 发 现 功 能 交互 的 细节 问题 。 


业务 数据 要 具有 真实 性 。 许 多 时 候 ， 测 试 人 员 很 难 预测 用 户 会 使 用 何 
种 数据 ， 目 行 设计 的 测试 数据 很 可 能 不 能 窗 盖 重要 的 用 户 情景 。 为 了 
提高 测试 数据 的 质量 ， 测 试 人 员 需 要 尽量 收集 用 户 的 业务 数据 ， 通 过 
技术 手段 抹 去 用 户 的 私密 信息 后 ， 将 数据 用 于 测试 。 最 简单 的 方法 是 
在 虚拟 业务 中 直接 使 用 这 批 数 据 ， 让 产品 提前 经 受 真实 数据 的 考验 。 
在 此 基础 上 ， 测 试 人 员 分 析 用 户 数据 的 特征 ， 总 结 出 它 的 数值 分 布 和 
变化 规律 ， 然 后 将 获得 的 知识 用 于 设计 新 的 测试 数据 。 例 如 ， 测 试 人 
员 分 析 在 线 系统 的 运营 日 志 ， 分 析出 每 月 的 业务 量 呈 现 稳定 增长 的 态 
势 。 于 是 他 根据 当前 趋势 ， 估 算出 新 版 本 上 线 时 的 业务 量 和 可 能 的 峰 
值 ， 然 后 构造 数据 来 测试 新 版 本 。"“ 真 实 ” 的 情景 总 是 在 变化 的 ， 不 存 
在 一 成 不 变 的 测试 情景 。 测 试 人 员 需 要 关注 变化 的 业务 领域 ， 并 及 时 
调整 测试 策略 。 


虚拟 业务 是 相对 复杂 的 测试 ， 往 往 需 要 测试 小 组 投入 大 量 的 人 力 和 时 间 。 
如 采 仔 细 设 计 并 认真 执行 ， 它 能 提供 其 他 测试 方法 难以 获得 的 重要 信息 。 
特别 是 ， 它 可 以 揭示 出 产品 的 问题 和 局 限 对 用 户 的 业务 有 何 影响 ， 从 而 更 
真实 地 评 佑 出 产品 的 价值 。 


5.7 “多样 地 选择 测试 技术 


面 对 多 种 多 样 的 测试 技术 ， 测 试 人 员 的 任务 是 选择 合适 的 技术 应 用 于 当前 
的 项 目 。 对 此 ， 我 建议 测试 人 员 参 考 Cem Kaner ` James Bach 和 Bret 
Pettichord 在 《软件 测试 经 验 与 教训 》 一 书 中 关于 测试 策略 的 论 壕 
[Kaner01]。 本 市 简介 他 们 的 观点 ， 并 给 予 必要 的 解释 。 


测试 策略 十 一 组 指导 测试 设计 和 测试 技术 远 择 的 想法 。 它 通常 概述 了 测试 
目标 和 实施 方法 ， 并 提供 了 技术 选择 的 依据 。 例 如 ， 开 发 团队 对 代码 进行 
了 大 量 重 构 ， 他 们 将 新 的 构建 提交 给 测试 小 组 ， 硕 望 发 现 重 构 引入 的 缺 
陷 。 对 此 ， 不 同 的 测试 小 组 会 采用 不 同 的 测试 策略 。 


测试 策略 1 : 测试 小 组 安排 3 个 测试 人 员 进 行 检 查 。 一 个 测试 人 员 运 行 所 有 
目 动 化 测试 用 例 ， 并 调查 失败 的 测试 用 例 。 一 个 测试 人 员 执 行 功能 漫游 ， 
检查 所 有 被 修改 的 和 受 影 响 的 功能 ， 在 此 过 程 中 执行 一 些 快速 测试 ， 以 探 
测 典 型 错误 。 一 个 测试 人 员 利 用 测试 小 组 积 素 的 用 户 数据 做 系统 测试 ， 以 
检查 产品 能 否 妥 闸 地 完成 用 户 任务 。 


测试 策略 2 : 测试 人 员 将 产品 部 署 到 预 发 布 环境 中 ， 让 它 处 理 上 一 个 月 的 真 
实业 务 数据 ， 以 检查 它 能 否 恰当 地 使 用 资源 、 以 预期 的 速度 正确 地 完成 业 
务 。 在 测试 过 程 中 ,测试 人 员 用 测试 工具 监控 产品 对 各 种 资源 的 使 用 情况 
和 数据 处 理 的 速度 ， 并 反复 运行 测试 脚本 以 检查 输出 结果 是 否 正 确 。 如 果 
发 现 资源 油 漏 、 程 序 前 省、 结果 错误 等 三 重 问题 ， 他 会 暂停 测试 ， 邀 请 程 
序 员 一 起 来 调查 。 


测试 策略 3 : 测试 人 员 阅 读 代码 变更 集 ， 理 解 重 构 的 意图 和 手法 ， 针 对 每 一 
处 重要 修改 ， 设 计 并 执行 一 组 测试 用 例 。 部 分 测试 用 例 被 编码 实现 ， 成 为 
定期 运行 的 目 动 化 回归 测试 的 一 部 分 。 男 一 些 测试 用 例 十 半 目 动 执 行 ， 为 
此 测试 人 员 需 要 增强 自制 测试 工具 的 功能 。 余 下 的 测试 是 手工 执行 ， 且 无 
需 上 自动化 或 文档 化 。 


以 上 测试 党 略 有 不 同 的 内 容 和 重点 ， 适 用 于 不 同 的 项 目 环境 。 其 共同 特征 
征 根 据 当 前 测试 目标 ， 论 述 即将 执行 的 测试 和 所 需 的 资源 。 在 测试 执行 

时 ， 测 试 人 员 会 运用 具体 的 产品 知识 ， 设 计 出 更 细致 的 策略 。 总 体 而 言 ， 

优秀 的 测试 策略 具有 如 下 4 个 特征 。 


。 产品 相关 : 好 的 测试 策略 总 是 根据 产品 的 特点 进行 有 针对 性 的 测试 。 


。 聚焦 风险 : 测试 人 员 需 要 分 析 项 目 环境 、 产 品 元 素 、 质 量 要 求 等 方面 
的 潜在 问题 ， 让 测试 过 程 可 以 探测 其 中 的 重要 风险 。 


。 多 种 多 样 ， 软 件 、 业 务 和 用 户 行为 是 高 度 复杂 的 ， 任 何 单一 的 测试 手 
慨 才 存在 让 点 "测试 人 员 需 要 综合 多 种 尖 异 化 的 测试 手段 ， 从 各 个 名 
度 考验 软件 。 


。 讲求 实用 : 测试 策略 受到 测试 使 命 、 被 测 对 象 、 测 试 资源 等 因素 的 影 
啊 和 约束 。 一 个 过 于 人 简单 的 测试 策略 不 适合 复杂 的 产品 ， 而 一 个 紧 重 


的 测试 策略 也 不 适合 资源 紧张 的 项 目 。 测 试 人 员 要 平衡 各 种 因素 ， 让 
测试 策略 可 以 充分 利用 现 有 资源 ， 对 项 目 作 出 尽 可 能 大 的 页 献 。 


在 选择 测试 技术 时 ，Cem Kaner 等 推荐 测试 人 员 根 据 多 样 化 折 囊 原则， 综合 
运用 多 种 测试 技术 进行 测试 。 简 单 地 说 ， 在 有 限 的 测试 资源 约束 下 ， 将 多 
种 测试 执行 到 “足够 好 ”的 水 平 ， 要 优 于 将 一 两 种 测试 执行 到 完美 水 平 。 长 
期 工作 于 一 个 项 目 有 可 能 让 测试 人 员 在 不 知 不 觉 中 进入 某 个 思维 定 势 ， 以 
致 他 总 是 使 用 一 组 固定 的 测试 方法 来 检查 软件 。 然 而 ， 现 实 世 界 是 开放 
的 ， 强 含 着 无 限 的 可 能 ， 固 定 的 测试 手段 将 不 能 应 对 变化 的 用 户 、 业 务 和 
竞争 环境 。 为 此 ， 测 试 人 员 需 要 经 党 反思 当 前 的 测试 策略 ， 将 更 多 的 测试 
技术 纳入 测 斌 过程。 他 可 以 参考 5.1 届 介绍 的 六 要 素 分 类 系统 或 敏捷 测试 四 
象限 ， 从 所 有 的 分 文 或 象限 选择 合适 的 测试 技术 ， 以 增强 不 同 缺陷 的 检 出 


能 力 。 


此 外 ， 测 试 专家 还 敏锐 地 指出 项 目的 第 一 个 测试 策略 总 是 错误 的 。 因 为 制 
定 初始 测试 策略 时 ， 测 试 人 员 对 产品 和 项 目 还 缺乏 足够 的 了 解 ， 往 往 会 名 
视 某 些 重要 的 风险 ， 未 能 安排 恰当 的 测试 活动 。 所 以 ， 测 试 人 员 应 该 随 着 
项 目 进 展 ， 持 续 调 整 测试 策略 ， 通 过 持续 反思 "现在 我 可 以 测试 什么 ? 该 如 
何 测试 ? ”来 识别 新 的 测试 机 会 。 此 外 ， 测 试 人 员 应 该 积极 利用 测试 天 代 产 
生 的 信息 来 改进 测试 党 略 。 在 欠 代 过 程 中 ， 测 试 人 员 构建 测试 模型 并 产生 
测试 想法 ， 然 后 通过 测试 执行 来 发 握 新 的 知识 和 信息 。 根 据 这 些 新 知 ， 他 
修改 测试 模型 ， 激 发 出 狐 的 测试 想法 ， 再 付 诸 实践 。 通 过 这 样 的 蝶 旋 上 
F., 测试 质量 会 得 到 持续 提升 。 


5.8 “小结 
本 章 介绍 了 测试 技术 的 分 类 方法 ， 并 讨论 了 基于 启发 式 方法 的 一 组 测试 技 


` 


。 所 有 测试 活动 都 会 涉及 范围 〈 测 试 对 象 ) 、 履 盖 〈 测 试 程度 ) 、 测 试 
者 、 风 险 、 活 动 (测试 手段 )、 评 估 (测试 先知 ) 和 目标 7 个 方面 。 
。 一 个 具体 的 测试 技术 通 汝 只 讨论 其 中 的 1~3 个 方面 。 在 实际 使 用 时 ， 测 
试 人 员 还 需要 思考 其 他 方面 。 
。 司 发 式 方法 针对 复杂 问题 提出 了 一 种 简单 的 、 较 可 能 成 功 的 解决 思 
eee i 测试 人 员 需 要 综合 使 用 多 个 局 
(TATE © 


人 


掌握 一 项 测试 技术 需要 “重新 发 明 * 它 ， 即 通过 实践 加 入 自身 经 验 和 项 
目 特征 ， 以 获得 新 的 方法 。 

测试 人 员 可 以 针对 重复 出 现 的 测试 问题 ， 提 炼 出 解决 方案 的 模式 ， 奸 
立 自己 的 启发 式 方法 。 

测试 先知 是 识别 软件 失败 的 启发 式 方法 。 它 不 能 断定 软件 行为 一 定 正 
确 ， 只 能 检查 软件 运行 是 否 发 生 特定 错误 。 

名 这 人 员 需 要 从 不 同 关系 人 的 角度 ， 设 计 多 个 测试 先知 来 从 机 软件 的 
行为 。 

漫游 测试 是 在 特定 主题 指导 下 对 产品 进行 探索 ， 不 但 可 以 实施 基于 覆 
羡 或 风险 的 测试 ， 还 可 以 了 解 产 品 知识 ， 提 供 更 多 的 测试 想法 。 
快速 测试 是 一 组 针对 特定 缺陷 的 攻击 方法 ， 能 够 快速 发 现 典型 的 问 


题 。 


情景 测试 利用 一 个 或 一 组 情景 (故事) 作为 测试 方案 ， 对 软件 进行 探 
索 。 好 的 情景 测试 基于 连贯 一 致 的 、 可 信 的 、 有 推动 力 的 、 复 杂 的 故 
事 ， 且 容易 评估 软件 是 否 出 错 。 


好 的 测试 策略 是 与 产品 相关 、 聚 焦 风 险 、 多 种 多 样 、 讲 求实 用 的 。 


人 
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Bem 测试 开发 


测试 开发 古 为 了 完成 测试 使 命 而 进行 的 代码 开发 与 维护 活动 。 它 服务 于 软 
件 项 目的 总体 目标 ， 利 用 计算 机 的 能 力 来 实现 更 好 的 测试 。 随 着 计算 机 性 
能 和 软件 技术 的 快速 发 展 ， 测 试 开发 已 经 成 为 最 基础 、 最 重要 的 测试 手段 


之 一 。 为 了 持续 提高 测试 效率 和 产品 质量 ， 测 试 人 员 需 要 分 析 当 前 项 目的 
测试 需求 ， 将 合适 的 开发 技术 以 合理 的 策略 应 用 于 测试 开发 。 


测试 开发 往往 要 求 测试 人 员 在 代码 编写 、 调 试 、 维 护 上 投入 可 观 的 时 间 和 
精力 。 如 末 这 些 投入 不 能 带 来 相应 的 回报 ， 测 试 小 组 束 浪 费 了 原本 可 用 于 
其 他 测试 活动 的 资源 。 为 了 让 测试 开发 交付 应 有 的 价值 ， 测 试 人 员 需 要 建 
立正 确 的 观念 ， 运 用 合理 的 开发 方法 。 为 此 ， 本 章 将 讨论 测试 开发 的 分 
类 ， 并 介绍 一 些 开 发 思路 和 策略 ， 供 测试 人 员 在 实践 中 参考 。 


6.1 测试 开发 分 类 


A ae 象 是 测试 程序 ， 根 据 测 试 程序 的 用 途 可 以 将 测试 开发 大 致 分 


。 自动 化 测试 开发 与 维护 自动 执行 的 测试 用 例 。 这 批 测试 用 例 的 准备 、 
执行 、 检 验 、 清 理 和 报告 都 是 自动 完成 的 。 目 动 化 测试 的 典型 例子 是 
用 xUnit 测 试 框架 编写 的 自动 化 单元 测试 [WikipediaXUnit13] ° 


计算 机 辅助 测试 开发 与 维护 帮助 完成 测试 任务 的 工具 。 其 常见 的 应 用 
领域 包括 产品 分 机 、 测 试 环境 管理 、 测 试 数据 生 成 、 软 件 调 试 、 测 试 
结果 分 析 与 管理 等 。 


在 本 质 上 ， 目 动 化 测试 是 一 种 计算 机 辅助 测试 ， 即 目 动 执行 的 测试 用 例 也 
是 帮助 完成 测试 任务 的 工具 。 因 为 测试 用 例 是 非常 重要 的 基础 工具 ， 是 许 
多 团队 强烈 依赖 的 质量 保障 工具 ， 所 以 它 被 独立 出 来 做 专门 的 研究 。 这 是 
合理 且 现 实 的 划分 策略 。 不 过 ， 正 因为 目 动 化 测试 和 计算 机 辅助 测试 在 概 
念 上 有 重 营 ， 所 以 一 些 测试 代码 兼 有 测试 用 例 和 测试 工具 的 特征 。 例 如 ， 
5.3.3 节 介绍 了 Harry Robinson 测 试 合 歌 地 图 时 所 采纳 的 测试 开发 策略 。Harry 
的 测试 程序 调用 合 歌 地 图 ， 获 得 两 个 地 点 之 间 的 导航 路 线 ， 然 后 用 一 组 规 
则 检查 导航 路 线 ， 以 发 现 违 反 规则 的 导航 路 线 。 该 程序 可 以 看 作 目 动 化 测 
试 ， 每 一 对 地 点 就 是 一 条 测试 用 例 ， 其 执行 、 检 查 和 报告 都 是 自动 完成 
的 。 测 斌 小 组 可 以 将 这 批 测试 用 例 当 做 回归 测试 用 例 集 ， 通 过 定期 运行 来 
发 现代 码 改动 引入 的 错误 。 不 过 ，Harry 的 程序 并 不 断定 某 条 导航 路 线 出 
错 ， 而 是 提交 “疑似 错误 案例 ”给 测试 人 员 做 进一步 调查 。 从 这 个 角度 ， 它 
是 一 个 起 * 过 滤器 ”作用 的 测试 执行 与 分 析 工 具 ， 通 过 执行 海量 的 计算 ， 提 
取出 测试 人 员 需 要 人 研究 的 异常 情况 。 


接 下 来 ， 本 章 将 分 别 讨论 自动 化 测试 和 计算 机 辅助 测试 的 基本 实 晓 。 唱 然 
宫 们 开发 不 同 任务 的 测试 代码 ， 但 是 首相 同 的 开 改 原则， 拥有 相似 的 
实现 策略 。 


6.2 ”注重 实效 的 目 动 化 测试 


目 动 化 测试， 顾名思义 ， 是 计算 机 目 动 执 行 的 测试 。 测 试 人 员 的 开发 对 象 
是 被 计算 机 目 动 执行 的 测试 用 例 。 在 许多 项 目 中 ， 目 动 化 测试 用 例 组 成 目 
动 化 测试 套件 ， 被 周期 性 地 执行 ， 以 持续 提供 代码 的 质量 信息 。 因 为 自动 
化 测试 所 读 来 的 影响 是 如 此 深远 ， 软 件 专家 Martin Fowler 指 出 对 于 许多 项 
目 ， 测 试 已 经 步 入 编程 的 前 沿 和 中 心 位 置 [Meszaros07]。 


为 了 实现 更 有 效 的 自动 化 测试 ， 本 节 讨 论 自动 化 测试 的 目标 和 一 批 值得 参 
考 的 实践 方法 。 基 本 想法 是 根据 项 目 语 境 ， 通 过 测试 迭代 开发 出 注重 实效 
的 目 动 化 测试 。 


6.2.1 ”自动 化 测试 的 基本 策略 


为 了 取得 自动 化 测试 的 成 功 ， 测 试 人 员 需 要 明确 目标 。 从 根本 上 说 ， 目 动 
化 测试 的 目标 是 拓展 测试 小 组 的 能 力 ， 帮 助 他 们 更 好 地 服务 于 软件 项 目 。 
即 测试 代码 并 不 是 目 动 化 测试 的 目标 ， 在 整体 上 优化 测试 效率 和 提高 测试 
效果 才 是 测试 小 组 追求 的 对 象 。 为 此 ， 测 试 小 组 需要 基于 项 目 语 境 制订 整 
体 的 测试 计划 〈 包 含 测试 策略 、 保 障 条 件 、 测 试 产 出 等 ) ， 将 自动 化 测试 
作为 实现 测试 策略 的 重要 工具 加 以 有 效 利 用 。 


由 于 自动 化 测试 服务 于 项 目 整 体 的 测试 策略 ， 所 以 测试 开发 策略 也 需要 符 
合 优秀 测试 策略 的 4 个 特征 : 产品 相关 、 聚 焦 风 险 、 多 种 多 样 和 讲求 实用 
[Kaner01] ° 


第 一 ， 自 动 化 测试 应 该 切合 当前 产品 。 近 年 来 ， 软 件 开发 与 测试 技术 快速 
发 展 ， 这 让 测试 人 员 可 以 从 多 个 优秀 的 测试 框架 中 进行 选择 。 此 外 ， 测 试 
人 员 还 可 以 利用 最 新 的 开发 技术 来 构建 目 己 的 测试 框架 。 在 选择 和 创新 的 
过 程 中 ， 技 术 选 型 的 基本 出 发 点 古 目 动 化 测试 应 该 符合 产品 和 项 目的 特 
征 。 这 要 求 测试 人 员 评 估 当 前 项 目 ， 谍 慎 地 选择 实践 方法 和 开发 拉 术 ， 并 
创造 性 地 将 它们 应 用 于 产品 测试 。 


语 境 豫 动 测试 认为 “在 特定 语 境 下 存在 好 的 实践 ， 但 不 存在 最 佳 实 

践 ”*[ContextDrvienTesting12]。 该 原则 并 非 否 定 现 有 的 开发 原则 和 实践 ， 而 
是 建议 测试 人 员 理 解 并 改造 已 有 的 方法 ， 以 适应 项 目 和 产品 的 特点 。 例 
如 , “持续 集成 ”是 公认 的 核心 开发 实践 ， 但 是 不 同 的 团队 会 采用 不 同 的 具 
体 做 法 。 对 于 小 型 项 目 ， 一 次 代码 提交 便 会 触发 一 次 完整 的 构建 ， 并 运行 
所 有 的 目 动 化 测试 。 对 于 大 型 项 目 ， 项 目 团队 也 许 会 每 小 时 做 一 次 构建 并 
运行 BVT， 然 后 在 每 天 晚上 运行 所 有 的 目 动 化 测试 。 对 于 超大 型 项 目 ， 做 
一 次 完整 的 构建 (包含 BVT) 需要 几 天 的 时 间 ， 所 以 测试 小 组 只 会 选择 某 


些 构建 运行 所 有 的 目 动 化 测试 ， 目 动 化 测试 的 运行 周期 可 能 是 1~2 周 。 可 
见 ， 好 的 思 想 在 不 同 环境 中 会 发 展 出 不 同 的 流程 和 方法 ,“ 因 地 制 家 ”地 选 
择 和 应 用 才能 真正 发 挥 思想 的 内 在 价值 。 


第 二 ， 自 动 化 测试 应 该 聚焦 风险 ， 重 点 解决 产品 面临 的 最 大 风险 ， 而 不 必 
强求 面面俱到 。 在 战术 上 ， 这 要 求 测试 人 员 采 取 进 攻 的 心态 ， 通 过 自动 化 
测试 去 迅速 发 现 软件 缺陷 ， 让 程序 员 能 够 快速 地 修复 缺陷 ， 从 而 获得 平稳 
且 有 效率 的 开发 过 程 。 


目 动 化 测试 面临 的 第 一 个 风险 来 目 于 它 本 身 。 有 了 时， 测试 人 员 在 编写 和 维 
FETE ERA TAERAA, ARAKNE 
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度 带 来 了 负面 影响 。 此 外 ， 没 有 成 效 的 自动 化 测试 会 挫伤 测试 人 员 的 十 

了 以 致 错过 了 一 些 明 显 的 改进 测试 代码 


机 全 


为 了 实施 有 效 的 自动 化 测试 ， 我 建议 测试 小 组 迭代 地 实施 自动 化 测试 。 在 
每 一 个 迭代 中 ， 测 试 小 组 分 析 产 品 风 险 和 项 目 风 险 ， 列 出 一 组 需要 解决 的 
问题 。 然 后 ， 选 出 若干 高 优先 级 的 、 适 合 自 动 化 测试 的 问题 ， 作 为 自动 化 
测试 的 工作 目标 。 针 对 这 几 个 目标 ， 测 试 小 组 拟定 出 明确 的 开发 任务 ， 安 
排 具 体 人 员 来 负责 实现 。 在 迭代 结束 后 ， 测 试 小 组 评估 目标 是 否 达成 ， 并 
分 析 自 动 化 测试 是 否 缓解 了 风险 、 解 决 了 问题 。 评 佑 的 目标 不 是 评价 测试 
人 员 的 绩效 ， 而 是 发 现 自动 化 测试 的 长 处 与 不 足 ， 讨论 现 有 自动 化 案 上 略 的 
可 改进 之 处 。 评 佑 的 结果 可 以 是 一 页 清单 ， 记 录 了 应 该 坚持 的 实践 、 需要 
避免 的 陷阱 、 值 得 尝试 的 新 方法 、 亚 待 解 决 的 问题 等 。 之 后 ， 测 试 小 组 根 
据 当 时 的 产品 风险 和 上 一 次 迭代 的 结果 ， 安 排 新 的 自动 化 测试 任务 。 


与 基于 测 程 的 测试 管理 (参见 3.2.13 节 和 4.2.2 节 ) 相似 ， 送 代 的 自动 化 测试 
开发 是 一 种 目 适 应 的 测试 党 略 ， 它 拥有 如 下 特征 。 


。 时 间 盒 。 测 试 人 员 将 一 个 迭代 作为 一 个 时 间 盒 ， 为 目标 设 定 、 代 码 开 
发 和 结果 评估 提供 明确 的 期 限 和 节奏 。 通 过 多 个 时 间 盒 的 持续 努力 ， 
测试 人 员 可 以 积累 多 个 小 成 采 ， 以 获得 强大 的 自动 化 测试 时 间 盒 的 
长 短 取决 于 项 目的 特征 ， 通 常 2~4 周 的 时 间 适 用 于 大 多 数 项 目 。 


。 在 时 间 和 资源 约束 下 的 具体 目标 。 时 间 盒 的 基本 元 素 有 两 点 : 明确 的 
时 间 期 限 和 具体 的 开发 目标 。 测 斌 人员 可 以 拥有 一 个 长 远 的 开发 计 
划 ， 不 过 对 于 当前 的 时 间 盒 ， 他 需要 根据 项 目 需要 和 可 用 资源 ， 安 排 
一 组 切实 可 行 的 小 目标 。 小 目标 让 测试 人 员 更 加 专注 于 开发 ， 而 且 完 
成 目标 的 成 就 感 能 够 工 舞 他 更 有 信心 地 工作 。 


聚焦 风险 。 在 设 定 目标 时 ， 测 试 人 员 需 要 着 重 考虑 项 目 风 险 。 这 要 求 
他 综合 考虑 短期 内 需要 解决 的 问题 和 长 期 有 价值 的 任务 。 在 一 些 项 目 
中 ， 测 斌 小 组 总 是 遇 到 许多 "“ 突 发 事件 ”， 如 产品 不 能 安装 、 目 动 化 测 
试 遭 遇 大 量 失 败 、 产 重 的 缺陷 使 产品 工作 流 中 断 等 。 应 对 这 些 问题 耗 
费 了 测试 小 组 大 量 的 精力 ， 使 他 们 无 力 做 更 有 长 远 价值 的 任务 。 对 
此 ， 一 个 可 行 的 合 略 是 优先 解决 紧急 的 问题 ， 并 通过 高 质量 的 目 动 化 
测试 、 合 理 的 工作 流程 等 ， 降 低 此 类 问题 发 生 的 可 能 和 修复 代价 。 即 
通过 一 套 解 决 方案 稳定 开发 流程 、 降 低产 品 风险 ， 以 便 测试 小 组 有 资 
源 做 更 长 远 的 工作 。 


持续 评估 。 随 着 项 目 进展 ， 产 品 具 备 更 丰富 的 能 力 ， 也 面临 不 同 的 风 
难 。 所 以 ， 测 试 人 员 需 要 在 和 欠 代 间 了 持续 评估 项 目 情况 ， 以 便 让 新 的 
目 动 化 测试 能 够 应 对 以 往 没有 考虑 到 的 问题 ， 将 精力 投放 在 对 产品 开 
发 最 有 价值 的 领域 。 


动态 计划 “。 迭 代 开 发 的 本 质 是 根据 变化 的 情况 实施 动态 计划 ， 并 根据 
计划 执行 结果 做 出 必要 的 调整 。 这 对 于 测试 开发 尤其 重要 ， 因 为 测试 
代码 强烈 依赖 于 产品 代码 ， 测 试 计划 需要 符合 产品 开发 的 实际 进度 。 
此 外 ， 测 试 人 员 通 常会 同时 执行 多 项 测试 任务 ， 无 法 专注 于 测试 开 

发 ， 其 工作 计划 也 时 第 被 突 发 性 事件 打 断 。 和 迭代 开发 帮助 测试 人 员 处 
理 变 化 的 情况 ， 使 得 投入 的 资源 可 以 获得 相应 的 回报 。 


第 三 ， 上 自动 化 测试 应 该 在 资源 允许 的 范围 内 尽力 拓展 测试 领域 ， 以 提供 给 
多 样 化 的 测试 。 功 能 测试 是 常见 的 自动 化 测试 领域 ,测试 小 组 会 构建 自动 


执行 的 功能 测试 用 例 集 ， 以 发 现代 码 变 动产 生 的 缺陷 。 除 此 之 外 ， 目 动 化 


测试 还 可 以 在 许多 方面 大 显 身 手 ， 获 得 手工 测试 难以 实现 的 效果 。 以 下 是 


a 


性 能 测试 。 随 着 项 目 进展 ， 测 试 人 员 需 要 评估 产品 的 性 能 是 在 稳步 提 
高 ， 还 是 在 逐渐 下 降 。 对 于 网 络 应 用 ， 随 着 用 户 数 和 业务 量 的 提高 ， 
测试 人 员 需 要 检查 即将 发 布 的 版 本 能 否 处 理 正 常 流量 和 峰值 流量 。 为 
此 ， 测 试 人 员 会 编写 代码 ， 模 拟 出 各 种 工作 负载 ， 从 而 在 项 目 过 程 中 
持续 检查 软件 的 性 能 。 有 些 测试 小 组 将 多 次 测试 获得 的 性 能 数据 绘制 
成 趋势 图 ， 可 以 轻易 地 看 出 产品 的 性 能 变化 。 


压力 测试 。 测 试 程序 驱使 产品 长 时 间 地 处 理 大 批 数 据 ， 让 它 超 负 答 运 
较 ， 并 监控 它 所 骏 露 出 的 问题 。 这 样 的 测试 有 时 会 持续 儿 天 ， 记 录 大 
量 的 产品 日 志和 性 能 数据 。 测 试 工具 会 分 析 这 些 日 志和 数据 ， 以 报告 
其 中 值得 注意 的 问题 。 


配置 测试 。 一 些 软件 需要 在 多 个 平台 上 运行 ， 例 如 一 款 流行 的 智能 手 
机 应 用 往往 需要 支持 十 多 款 手 机 。 手 工 在 各 个 平台 上 执行 测试 费时 费 
力 ， 且 容易 因为 测试 疲劳 造成 缺陷 遗漏 。 测 试 小 组 开发 出 跨 平台 的 测 
斌 框架， 让 同一 个 测试 用 例 集 可 以 运行 在 多 个 目标 平台 上 。 这 不 但 节 
a oe epee Oe ae eee cece 
9 缺陷。 


安全 性 测试 。 随 着 软件 技术 的 发 展 ， 寻 找 (并 利用 ) 安全 性 缺陷 的 技 
术 挑 战 快速 提高 。 一 些 安全 性 问题 的 技术 难度 已 经 超过 普通 测试 人 员 
的 能 力 范 围 。 为 了 应 对 日 趋 辐 手 的 安全 性 问题 ， 测 试 小 组 会 利用 已 有 
的 测试 工具 ， 或 让 安全 性 专家 主持 研发 测试 工具 ， 通 过 源 代码 扫描 
[Chess07]、 模 糊 测试 [Sutton07] 等 手段 ， 来 强力 挖掘 安全 性 缺陷 。 


第 四 ， 目 动 化 测试 应 该 讲求 实用 ， 测 试 人 员 需 要 根据 项 目 语 境 选择 合适 的 
开发 策略 。 软 件 产 品 的 差异 性 很 大 ， 不 存在 普遍 适用 的 测试 开发 策略 。 在 
规划 和 实现 目 动 化 测试 时 ， 测 试 小 组 要 思考 各 种 项 目 因素 来 做 出 合理 的 设 
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十 。 千 见 的 考虑 因素 如 下 。 


测试 使 命 。 测 试 小 组 通常 对 测试 资源 〈 时 间 、 机 器 、 工 具 等 ) 和 测试 
人 手 ， 有 一 定 发 言 权 ， 但 不 能 作出 最 终 决策 (这 是 项 目 管理 者 的 职权 
范围 ) 。 在 资源 相对 固定 的 情况 下 ， 将 多 少 资源 和 人 手 投 入 目 动 化 测 
试 ， 需 要 测试 领导 与 项 目 关 系 人 共同 决定 测试 小 组 承担 的 测试 使 命 。 
如 果 测 试 小 组 需要 承担 大 量 的 手工 测试 任务 ， 那 么 他 们 束 很 难 拓展 自 
动 化 测试 的 范围 ， 只 能 专注 于 优先 级 最 高 的 目 动 化 测试 领域 。 


测 斌 人员。 有些 自动 化 测试 技术 适用 于 编程 经 验 不 多 的 测试 人 员 ， 有 
些 则 有 要求 测试 人 员 精 通 某 类 开发 技术 。 为 初级 测试 人 员 选 择 高 难度 的 
方法 ， 会 让 他 们 难以 上 手 ， 影 响 项 目 进度 ;为 高 级 测试 人 员 安 排 过 于 
简单 的 工具 ， 会 限制 他 们 的 能 力 ， 摊 念 其 积极 性 。 通 党， 测试 领导 应 
该 与 资深 测试 人 员 协 商 ， 共 同 决定 测试 小 组 的 测试 开发 策略， 并 对 测 
试 人 员 的 技能 发 展 做 出 安排 。 


项 目 进度 。 许 多 项 目的 开发 具有 明显 的 节奏 。 在 项 目 初期 ， 产 品 代码 
尚未 完全 就 位 ， 测 试 人 员 有 时间 开 发 一 些 基 础 性 的 测试 框架 ， 在 项 目 
中 期 ， 产 品 代码 逐步 交付 测试 ， 测 试 人 员 需 要 编写 组 件 级 别 和 系统 级 
别 的 目 动 化 测试 ， 在 项 目 后 期 ， 产品 临近 交付 ， 测 试 人 员 专 注 于 运行 
测试 、 报 告 缺陷 、 验 证 修复 ， 只 能 将 少量 时 间 用 于 开发 新 的 目 动 化 测 
试 。 这 表明 测试 小 组 应 该 根据 项 目 进度 逐步 演变 测试 开发 的 重点 。 


产品 特征 。 产 品 的 开发 技术 和 业务 领域 会 影响 测试 技术 的 选择 。 如 果 
产品 代码 用 Java 编 写 ， 那 么 测试 代码 束 倾 向 于 能 够 运行 在 Java 虚 拟 机 上 


的 语言 。 这 简化 了 测试 代码 和 产品 代码 的 相互 调用 ， 并 方便 测试 人 员 
了 解 被 测 产 品 的 平台 特征 和 技术 特点 。 如 果 产 品 需要 处 理 大 量 的 业务 
数据 ， 那 么 测试 设计 束 倾 癌 于 用 数据 库 保 存 产品 的 输入 和 输出 数据 ， 
因为 数据 库 提供 了 便利 的 方法 来 存储 、 查 询 、 分 析 和 计算 大 规模 数 
据 ， 令 测试 实现 简洁 高 效 。 


总 而 言 之 ， 自 动 化 测试 是 实现 测试 策略 的 工具 ， 测 试 开发 需要 服务 于 整体 
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测试 。 


6.2.2 ”将 测试 开发 视 作 软件 开发 


自动 化 测试 是 基于 产品 代码 的 软件 应 用 ， 测 试 开发 也 是 一 种 软件 开发 ， 需 
要 遵循 恰当 的 软件 开发 过 程 。 测 试 小 组 需要 分 析 软 件 开发 的 基本 元 素 ， 以 
选择 合适 的 测试 开发 过 程 。 图 6-1 展 示 了 一 种 可 行 的 测试 开发 策略 ， 它 包含 
设 定 目标 和 测试 开发 迭代 两 个 阶段 。 

百 完 ， 软 件 项 目 要 持续 地 交付 价值 才能 长 远 地 发 展 ， 测 试 开发 项 目 也 十 如 


此 。 测 试 小 组 需要 分 析 项 目测 试 面临 的 挑战 ， 设 定 测试 自动 化 的 使 命 和 目 
标 ， 并 提出 候选 的 实现 策略 。 以 下 是 一 些 需 要 思考 的 问题 。 


.明确 使 全 
+ 拟订 计划 
* 达成 共识 


设 定 目标 


* 评估 当前 情况 
* 拟订 和 迭代 计划 
* 精 选 开发 实践 
e 建立 流程 和 责任 


测试 开发 迭代 


图 6-1 迭代 地 展开 测试 开发 


项 目 和 产品 面临 什么 风险 ? 有 哪些 重要 的 缺陷 要 去 发 现 ? 
当前 的 测试 面临 哪些 挑战 ? 有 哪些 重要 的 测试 任务 ? 


测试 小 组 用 什么 测试 策略 去 缓解 风 险 ? 如 何 用 受 限 的 资源 去 发 现 尽 可 
能 多 的 重要 缺陷 ? 


DUNE CEE RE RRR ETT ATER? EATR ANA E E 


利用 测试 目 动 化 能 否 发 展 出 更 强大 、 更 高 效 的 测试 策略 ? 

测试 目 动 化 的 短期 目标 是 什么 ? 长 期 目标 是 什么 ? 

选择 哪些 目 动 化 撤 术 来 实现 目标 ? 如 何 评估 候选 技术 ? 

执行 哪些 任务 来 达成 目标 ? 如 何 安排 任务 的 优先 级 ? 

如 何 评 佑 目 动 化 测试 达成 了 预定 目标 ? 

引入 (新 的 ， 自动化 测试 有 哪些 风险 ? 如 何 缓解 这 些 风险 ? 
eg Cn Page Nal enn, 


测试 人 员 需 要 做 何 种 思想 和 技术 准备 ? 


获得 这 些 问 题 的 答案 需要 统筹 考虑 项 目 全 局 ， 也 需要 深入 研究 具体 问题 。 
为 了 获得 更 全 面 的 理解 ， 测 试 领导 可 以 和 几 个 资深 测试 人 员 一 起 讨论 ， 共 
同 拟定 测试 开发 的 计划 文档 ， 以 说 明 目 动 化 测试 的 目标 、 任 务 、 宽 略 和 次 
源 。 人 然后， 测试 领导 邀请 测试 小 组 成 员 审 阅 计划 ， 通 过 收集 更 多 的 反馈 来 
改进 计划 ， 并 使 之 成 为 大 家 的 共识 。 经 过 集体 讨论 ， 测 试 小 组 获得 了 测试 
开发 计划 的 初稿 ， 用 它 来 作为 目 动 化 测试 的 行动 指南 。 


随 着 项 目 发 展 ， 测 试 小 组 面临 的 挑战 也 在 不 停 地 变化 ， 原 先 的 测试 策略 可 
能 不 适应 新 的 项 目 情况 。 为 了 让 自动 化 测试 持续 提供 价值 ， 测 试 小 组 需要 
积极 主动 地 调整 测试 开发 计划 。 一 个 可 行 的 方法 是 采用 迭代 开发 过 程 ， 用 
短 的 开发 周期 来 逐步 构建 目 动 化 测试 ， 并 动态 调整 方向 。 通 和 常 ， 测 试 开发 
周期 为 2~4 周 ， 在 此 期 间 测试 小 组 执行 如 下 任务 。 


o 
[A] o 


2. 测试 小 组 分 析 当 前 的 项 目 情 况 ， 列 出 需要 实现 的 自动 化 测试 和 值得 研究 
的 开发 技术 。 


3. 测试 小 组 根据 可 以 用 的 资源， 拟定 本 次 欠 代 的 开发 目标 ， 并 安排 实现 目 
标的 一 组 任务 。 每 一 个 任务 都 有 明确 的 负责 人 、 完 成 时 间 和 交付 结果 。 


4. 测 试 小 组 的 成 员 进 行 测试 编码 ， 并 利用 沙 箱 测 试 、 同 行 评审 、 持 续集 
成 、 技 术 原 型 等 开发 实践 来 保证 测试 代码 的 质量 。 


。 沙 箱 测试 : 测试 人 员 在 一 个 独立 的 环境 中 部 署 产品 、 开 发 并 运行 自动 
化 测试 。 独 立 的 环境 使 测试 人 员 之 间 的 开发 与 测试 不 会 相互 干扰 。 当 
测试 人 员 完 全 控制 产品 、 自 动 化 测试 和 测试 环境 时 ， 他 可 以 方便 地 控 
制 测试 运行 ， 以 快速 地 获得 测试 结果 。 这 有 助 于 迅速 发 现 产 品 缺 陷 和 
编写 测试 代码 。 


同行 评审 : 测试 小 组 需要 建立 测试 代码 的 评审 过 程 ， 让 一 组 相对 资深 
的 员工 评审 所 有 的 测试 代码 。 通 过 评审 ， 资 深 员 工 可 以 将 一 些 代 码 知 
识 、 实 现 方法 和 设计 模式 传授 给 其 他 测试 人 员 ， 并 保证 新 编写 的 代码 
符合 团队 制定 的 编码 标准 。 代 码 评审 是 一 个 传播 知识 、 建 立 规范 的 过 
程 ， 好 的 评审 过 程 能 够 提高 整个 测试 小 组 的 质量 意识 和 编程 技能 。 


持续 集成 ， 项 目 团队 建立 持续 集成 流程 ， 频 繁 地 编译 产品 和 测试 代 
码 ， 并 运行 自动 化 测试 集 ， 以 连续 地 提供 产品 代码 的 质量 信息 。 测 试 
小 组 应 该 建立 流程 ， 让 新 编写 的 目 动 化 测试 可 以 加 入 持续 集成 所 运行 
的 目 动 化 测试 集 。 通 过 高 频率 地 运行 测试 ， 测 试 小 组 不 但 可 以 及 时 发 
现 产 品 的 问题 ， 还 可 以 发 现 测试 代码 的 不 足 ， 从 而 快速 地 修复 问题 ， 
使 项 目 过 程 更 加 平稳 。 


技术 原型 ， 在 大 规模 采纳 某 种 新 技术 、 新 框架 或 新 工具 前 ， 测 试 小 组 
用 技术 原型 来 评估 其 可 行 性 。 测 试 人 员 可 以 用 一 个 迭代 周期 来 构建 技 
术 原 型 ， 用 它 完 成 真实 的 测试 任务 ， 以 便 在 项 目 语 境 中 分 析 新 方法 的 
长 处 与 不 足 ， 从 而 确定 它 能 否 市 来 预期 的 回报 。 如 条 有 多 个 相互 竞争 
的 技术 ， 测 试 人 员 可 以 用 它们 构建 儿 个 技术 原型 ， 来 完成 同一 个 任 

务 。 通 过 比较 技术 原型 的 表现 ， 测 试 人 员 能 够 作出 合理 的 技术 选择 。 


5. 测试 开发 的 特殊 性 在 于 测试 小 组 不 但 要 开发 代码 ， 还 要 运行 代码 ， 提 交 
缺陷 报告 ， 并 修复 测试 代码 的 缺陷 。 即 目 动 化 测试 项 目 包 含 持 续 的 编码 、 
运行 、 分 析 、 调 试 和 维护 。 为 此 ， 测 试 小 组 应 该 建立 明确 的 流程 和 贡 任 ， 
让 自动 化 测试 可 以 持续 地 运行 ， 让 测试 结果 得 到 及 时 地 调查 ， 让 测试 缺陷 
得 到 快速 地 修复 ， 让 过 时 的 测试 被 删除 或 改写 。 好 的 流程 让 新 的 目 动 化 测 
试 立即 发 挥 作用 ， 并 通过 测试 天 代 隶 步 提高 目 动 化 测试 集 的 质量 。 


总 之 ， 目 动 化 测试 是 一 种 重要 的 投资 ,测试 人 员 会 投入 可 观 的 时 间 和 精 
力 。 为 了 获得 良好 的 回报 ， 测 试 小 组 需要 选用 恰当 的 测试 设计 、 开 发 技术 
和 管理 方法 ， 让 它们 相互 支持 、 彼 此 配合 。 


6.2.3 ”利用 自动 化 测试 金字 塔 来 指导 测试 开发 


为 了 优化 测试 资源 分 配 ， 软 件 专家 Mike Cohn 提 出 了 测试 自动 化 金字 塔 
[Cohn09]， 测 试 专家 Lisa Crispin 将 其 细 化 为 图 6-2 的 形式 [Crispin09]。 人 金字 
塔 包 含 3 个 目 动 化 测试 层次 ， 在 金字 塔 之 上 是 手工 测试 。 项 目 团队 应 该 将 更 
多 的 精力 放 在 金字 塔 的 底层 ， 编 写 数量 庞大 的 单元 测试 和 组 件 测 试 ， 为 高 
层 的 目 动 化 测试 黄 定 坚实 的 基础 。 


手工 测试 


GUI 测试 


验收 测试 (API 层 ) 
单元 测试 和 组 件 测试 


图 6-2 ”测试 自动 化 金字 塔 


。 金字 塔 底层 是 自动 化 测试 的 基础 ， 主 要 包含 单元 测试 和 组 件 测试 。 该 
层次 拥有 的 测试 代码 最 多 ， 是 目 动 化 测试 投资 回报 率 最 高 的 部 分 。 一 
般 情 况 下 ， 这 部 分 测试 代码 由 编程 小 组 编写 和 维护 。 


。 金字 塔 中 层 是 面向 业务 的 目 动 化 测试 。 它 们 调用 产品 提供 的 编程 接 
口 ， 不 依赖 于 图 形 办 面 ， 所 以 比较 容易 开发 和 维护 ， 拥 有 较 高 的 投资 
回报 率 。 通 党， 测试 小 组 会 编写 该 层 的 测试 代码 ， 开 发 小 组 会 提供 必 

要 的 技术 文 持 ， 例 如 提供 面向 业务 领域 的 API。 

。 金字 塔 顶层 是 少量 的 基于 图 形 界面 的 自动 化 测试 。 由 于 图 形 界 面 改 动 


频繁 ， 所 以 测试 代码 需要 经 常 修改 。 另 外 ， 基 于 图 形 界面 的 测试 代码 
难以 编写 、 调 试 和 修正 ， 操 作 系 统 的 偶然 事件 、 用 户 界 面 的 轻微 延 


迟 、 测 试 代码 的 考虑 不 周 都 会 导致 测试 失败 ， 所 以 拥有 高 兄 的 测试 维 
护 代价 。 因 此 ， 该 层次 的 自动 化 投资 回报 率 最 低 ， 应 该 只 包含 必须 使 
用 图 形 界面 才能 完成 的 测试 。 此 类 代码 通常 由 测试 小 组 开发 和 维护 。 


金字 塔 上 方 是 手工 测试 。 测 试 人 员 在 上 自动 化 测试 的 坚实 基础 上 ， 对 疝 
未 和 履 盖 的 领域 实施 手工 测试 。 手 工 测 试 并 非 不 使 用 任何 软件 工具 。 测 
试 人 员 可 以 选择 和 开发 合适 的 工具 ， 来 辅助 测试 并 提高 测试 效率 。 


目 动 化 金字 塔 征 一 个 概念 模型 ， 描 述 了 一 种 高 效 的 目 动 化 测试 策略 ， 但 是 


许多 


项 目的 实际 情况 与 之 不 同 。 在 一 些 项 目 中 ， 人 金字塔 处 于 倒置 的 状态 : 


程序 员 只 编写 很 少 的 单元 测试 和 组 件 测试 ， 测 试 人 员 基 于 编程 接口 和 图 形 
界面 编写 测试 代码 ， 而 且 许 多 代码 强烈 依赖 于 图 形 界面 。 这 导致 了 高 昂 的 
测试 代码 开发 和 维护 代价 。 在 男 一 些 项 目 中 ， 程序 员 不 编写 单元 测试 测 
试 小 组 开发 的 自动 化 测试 也 很 少 ， 大 多 数 测 试 需要 手工 完成 。 这 导致 测试 
小 组 在 每 个 项 目 周期 都 伦 费 大 量 的 时 间 去 手工 运行 回归 测试 ， 压 缩 了 测试 
新 功能 的 时 间 ， 并 难以 及 时 发 现代 码 变 更 引入 的 回归 错误 。 


面 对 以 上 情况 ， 测 试 小 组 需要 通过 持续 努力 来 逐步 扭转 不 利 的 情况 。 以 下 
征 一 些 常 见 的 方法 。 


测试 小 组 需要 与 编程 小 组 商谈 ， 共 同 制定 自动 化 测试 的 策略 。 最 理想 
的 情况 是 编程 小 组 承诺 为 新 代码 编写 单元 测试 ， 并 为 测试 小 组 提供 足 
够 的 编程 接口 ， 以 简化 中 层 测试 用 例 的 开发 。 其 中 ， 单 元 测试 需要 达 
到 的 质量 标准 和 编程 接口 的 具体 内 容 由 编程 小 组 和 测试 小 组 协商 决 
定 。 无 论 如 何 ， 项 目 团队 应 该 就 自动 化 测试 的 覆盖 范围 、 不 同类 型 的 
e S E 
达成 一 致意 见 


测试 自动 化 要 立即 见效 [Kaner01] 。 测 试 小 组 选择 投资 回报 率 高 的 区 域 
实施 目 动 化 测试 。 这 通常 是 产品 的 不 稳定 区 域 ， 拥 有 频繁 的 代码 变更 
或 大 量 的 软件 缺陷 。 快 速 的 代码 变更 暗示 这 部 分 代码 的 业务 需求 比较 
活跃 ， 是 产品 的 重要 价值 所 在 ; 活跃 的 缺陷 说 明 这 部 分 代码 比较 复 
杂 ” 避 能 存 守业 务 或 技术 上 的 难题 “对 这 些 区 城建 立 自动 化 测试 ， 能 
aaa aaa 


测试 小 组 与 项 目 关系 人 讨论 ， 耳 解 他 们 最 担心 的 风险 和 最 想 知道 的 信 
息 ， 然 后 思考 自动 化 测试 能 否 缓解 这 些 风 险 或 提供 相关 信息 。 与 上 
点 相似 ， 测 试 小 组 不 是 立即 实施 全 面 的 目 动 化 测试 ， 而 是 针对 高 优 移 
级 的 目标 实现 目 动 化 测试 。 通 过 目 动 化 测试 更 好 地 为 项 目 关 系 人 服 


务 ， 不 但 完成 了 测试 使 命 ， 还 让 关系 人 理解 并 赞赏 测试 小 组 在 目 动 化 
测试 上 的 投入 ， 从 而 为 更 广泛 的 目 动 化 争取 更 多 的 资源 。 


在 合适 的 层次 和 粒度 实施 自动 化 测试 。 通 常 ， 测 试 小 组 需要 检查 软件 
对 最 终 用 户 的 价值 ， 其 拥有 的 测试 资源 不 允许 他 们 开发 所 有 层次 的 测 
试 。 所 以 ， 常 见 的 测试 策略 是 开发 面 癌 业 务 的 自动 化 测试 (金字塔 的 
He) ， 并 辅 以 必要 的 基于 用 户 界面 的 测试 (金字塔 的 顶层 ) 。 这些 
自动 化 测试 能 够 覆盖 基本 用 户 情景 ， 为 更 细致 的 手工 测试 提供 质量 基 
础 。 测 试 人 员 不 必 强 求 所 有 测试 用 例 都 100% 目 动 化 [Kaner01]， 这 不 但 
会 带 来 高 昂 的 测试 维护 代价 ， 还 会 压缩 实际 的 测试 时 间 。 合 理 的 策略 
是 针对 不 同 的 测试 任务 采取 合适 的 测试 方法 。 在 大 多 数 情况 下 ， 综 合 
运用 手工 测试 、 代 码 审 查 、 开 发 者 测试 、 自 动 化 测试 等 方法 会 获得 更 
好 的 测试 效果 。 

学 习 并 实践 已 有 的 测试 开发 方法 和 模式 ， 以 快速 构建 稳定 的 自动 化 测 


i ° XUnit Test Patterns: Refactoring Test Code 1 和 Working Effectively 
with Legacy Code? 是 该 领域 的 经 典 著 作 ， 值 得 测试 人 员 参 考 和 借鉴 。 


1 http://xunitpatterns.com/ ° 


2 中 译本 为 《修改 代码 的 艺术 》 (http://book.douban.com/subject/2248759/ ) ° 


金子 塔 不 是 一 天 建成 的 。 测 试 小 组 可 以 从 影响 大 、 成 本 小 的 目 动 化 测试 开 
始 ， 逐 步 构 建 相 对 全 面 的 目 动 化 测试 用 例 集 合 。 积 小 胜 为 大 胜 ， 以 稳健 的 
策略 去 推动 测试 开发 ， 能 够 获得 短期 的 成 果 和 长 远 的 发 展 。 


6.2.4 面向 调试 的 测试 代码 


自动 化 测试 可 以 视 为 基于 产品 代码 的 二 次 开发 。 一 般 情况 下 ， 开 发 人 员 会 
假设 所 调用 的 基础 性 代码 十 经 过 充分 测试 、 比 较 稳定 、 比 较 可 靠 的 ， 但 是 
测试 开发 却 面临 截然 相反 的 情况 ， 其 调用 的 产品 代码 未 经 充分 测试 ， 变 更 
频繁 ， 很 可 能 包含 缺陷 。 因 此 ， 目 动 化 测试 遭遇 失败 十 “常态 ”， 调 查 失败 
原因 坪 测 试 人 员 的 基本 工作 。 当 目 动 化 测试 包含 大 量 的 测试 用 例 ， 高 效 的 
失败 调查 能 够 及 时 发 现 产 品 缺 陷 ， 反 之 低 效 的 失败 调查 会 延迟 缺陷 发 现时 
间 ， 并 占用 许多 测试 时 间 。 


有 经 验 的 程序 员 知 道 故 障 调查 是 一 件 困难 的 任务 ， 可 能 会 消耗 大 量 的 开发 
时 间 ， 所 以 他 们 的 设计 会 考虑 软件 的 可 调试 性 ， 通 过 一 些 特定 的 功能 来 降 
低调 试 的 难度 和 开销 。 因 为 目 动 化 测试 的 根本 任务 就 是 发 现 并 定位 产品 错 
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? 


所 以 测试 人 员 更 要 将 可 调试 性 作为 测试 开发 的 基本 因素 ， 时 刻 加 以 关 


o 以 下 证 一 些 有 助 于 提高 可 调试 性 的 开发 方法 。 


测试 代码 应 该 尽 可 能 地 简单 。 程序 员 有 时 为 了 提高 产品 的 性 能 ， 会 使 
用 一 些 复杂 的 算法 和 高 级 的 程序 库 。 不 过 ， 大 多 数 测 试 代码 并 不 需要 
极致 的 性 能 ， 测 试 人 员 应 该 用 平实 的 算法 和 基础 的 程序 库 来 构建 测试 
程序 。 这 有 助 于 构建 正确 的 代码 ， 避 免 复杂 逻辑 带 来 的 隐藏 缺陷 。 通 
尝 ， 一 个 测试 画 数 只 测试 一 个 具体 的 功能 ， 一 个 复 洒 的 测试 用 例 由 多 
个 人 简单 的 测试 函数 组 成 。 


测试 代码 应 该 容易 阅读 。 测 试 代 码 是 “可 执行 的 规格 说 明 ”， 定 义 了 特 
定 操作 下 被 测 软件 的 行为 [Features07]。 该 规格 说 明 应 该 清晰 易 懂 ， 让 
读者 很 容易 理解 测试 代码 做 了 哪些 测试 准备 、 进 行 了 什么 操作 、 检 查 
了 什么 内 容 、 预 期 获得 怎样 的 结果 等 。 在 理想 情况 下 ， 读 者 只 需要 阅 
读 测 试 画 数 束 可 以 理解 测试 步骤 和 检查 逻辑 。 这 要 求 测 试 代码 拥有 一 
致 的 命名 、 清 晰 的 结构 和 必要 的 注释 。 这 些 良 好 的 编程 实践 不 但 有 助 
于 构建 清晰 的 程序 ， 还 会 节省 大 量 的 调试 时 间 ， 因 为 理解 测试 逻辑 是 
发 据 失 败 原因 的 基本 前 提 。 


测试 代码 需要 合理 的 抽象 和 封装 。 许 多 测试 用 例会 共享 一 组 功能 ， 如 
局 动 软件 、 登 录 测 试用 户 、 检 查 业 务 对 和 象 属性 、 关 闭 软件 等 。 测 试 人 
员 可 以 将 这 批 反 复 使 用 的 代码 抽取 出 来 ， 封 疙 在 命名 民 好 的 函数 和 类 
中 。 这 有 助 于 测试 函数 的 代码 聚焦 于 当前 的 测试 逻辑 ， 而 不 是 纠缠 于 
一 些 大 多 数 测试 都 会 涉及 的 操作 ， 从 而 提高 了 测试 代码 的 可 读 性 。 但 
是 要 避免 过 犹 不 及 ， 过 度 的 抽象 会 降低 “规格 说 明 ” 的 清晰 性 ， 隐 严重 
要 的 操作 会 让 读者 错过 理解 测试 逻辑 的 关键 细节 。 测 试 人 员 需 要 在 实 
践 中 推 殴 代码 的 结构 ， 以 获得 恰到好处 的 设计 。 


测试 代码 应 该 检查 每 一 步 操作 的 结果 ， 发 现 问题 立即 报告 。 测 试 代 码 
应 该 假定 对 软件 的 任何 操作 都 可 能 失败 ， 所 以 它 会 检查 所 有 操作 的 结 
条 ， 并 通过 断言 、 异 遂 、 日 志 等 方式 将 错误 报告 出 来 。 第 一 时 间 报 告 
错误 有 助 于 测试 人 员 理解 错误 的 根源 ， 降 低 了 妃 踩 错误 产 头 的 开销 。 


测试 代码 应 该 拥抱 日 志 “。 测 试 人 员 需 要 用 日 志 记录 产品 的 输入 数据 、 
测试 的 执行 步骤 、 产品 的 输出 结 末 等 信息 ， 以 全 面 描绘 测试 执行 的 情 
况 。 在 理想 情况 下 ， 测 试 人 员 只 要 对 照 阅读 测试 日 志和 测试 代码 束 可 
以 理解 失败 原因 ， 而 不 需要 局 动 调试 器 。 常 见 的 测试 框架 都 提供 了 功 
能 丰富 的 日 志 程 序 库 ， 并 提供 了 扩展 接口 来 帮助 测试 人 员 定 制 出 满足 
特定 需求 的 测试 日 志 。 


除了 文本 日 志 ， 测 试 代码 还 可 以 记录 其 他 形式 的 日 志 。 例 如 ， 有 些 针 
对 数据 库 的 测试 会 产生 大 量 的 输出 结果 ， 将 这 些 结果 都 写 入 文本 日 志 
并 不 利于 阅读 和 分 析 。 一 个 可 行 的 测试 策略 是 将 产品 输出 写 入 一 个 独 
立 的 测试 数据 库 ， 以 便 进一步 检查 。 义 例如 ， 在 测试 执行 失败 时 ， 测 
试 程序 可 以 屏幕 截图 ， 让 测试 人 员 了 人 解 失 败 时 软件 的 外 观 。 对 于 软件 
裔 江 的 情况 ， 测 试 程序 可 以 生成 被 测 进程 在 朋 满 时 的 内 存 转 储 文件 ， 
以 便 测 试 人 员 用 调试 器 调查 朋 演 原因 。 


代码 清单 6-1 是 一 个 测试 Word 读 取 和 另存 文件 的 画 数 。 虽 然 真实 的 测试 代码 
会 更加 复杂 。 但 是 这 个 簿 化 的 例子 很 好 地 说 明了 如 何在 测试 开发 中 应 用 以 
实践 方法 。 


测试 函数 Test0penSave 用 C# 编 写 ， 通 过 调用 Word 的 COM 互 操作 API 
(Word.Application) 来 打开 指定 的 文档 ， 然 后 另存 为 新 的 文档 ， 以 测 
斌 文档 读 写 功能 。 代 码 清晰 直观 ， 容 易 理解 。 


TestOpenSave 提供 了 两 个 参数 ， 分 别 指定 需要 读 取 的 文件 的 路 径 
(sourceFilePath ) 和 另存 时 使 用 的 文件 格式 (saveFormat 

) ， 为 数据 驱动 的 测试 提供 了 支持 。 上 层 的 驱动 函数 可 以 从 外 部 数据 

源 加 载 一 批文 件 路 径 和 文件 格式 ， 通 过 反复 调用 Test0penSave 来 读 

写 不 同文 件 和 格式 。 该 设计 用 相对 简单 的 代码 支持 了 多 样 化 的 测试 。 


程序 库 TestLog 提供 了 日 志 功 能 ， 其 实现 请 参考 代码 清单 6-2。 
TestOpenSave 在 每 一 步 操作 之 前 都 通过 TestLog.Comment() 来 
明确 记录 测试 执行 到 哪里 。 一 旦 测试 失败 ， 测 试 人 员 通 过 阅读 测试 日 
志 ， 就 可 以 知晓 哪些 步骤 已 经 通过 、 测 试 失 败 具 体 发 生 在 何 处 。 


TestopenSave 还 用 TestLog ,Comment 记录 了 所 有 的 输入 值 (函数 
参数 sourceFilePath 和 saveFormat 的 值 ) 。 在 数据 驱动 测试 

中 ， 大 量 的 文件 路 径 和 格式 被 传递 给 Test0penSave 。 记 录 所 有 的 输 
入 值 简 化 了 调 斌 过程， 测试 人 员 只 要 阅读 测 斌 日志， 就 可 以 了 解 是 哪 
个 文件 和 格式 导致 测试 失败 。 


TestLog 还 提供 了 检查 功能 。TestLog .VerifyEqual 比较 实际 值 
是 否 等 于 预期 值 ， 如 果 不 相 等 ， 该 芳 数 会 记录 错误 消息 。 
TestLog.VerifyTrue 判断 输入 的 条 件 是 否 为 真 ， 如 果 为 假 ， 该 函 
数 会 记录 错误 消息 。 在 每 一 步 操作 之 后 ，Test0OpenSave 都 会 调用 这 
些 函 数 来 检查 操作 是 否 成 功 ， 以 第 一 时 间 记 录 问 题 。 这 两 个 检验 函数 
只 记录 错误 消息 ， 不 会 抛 出 异常 以 中 断 测试 执行 。 在 调用 结束 之 后 ， 
函数 Test0penSave 总 能 继续 执行 。 


。 程序 库 TestLib 封装 了 一 批 辅助 函数 ， 提 供 了 可 以 让 多 个 测试 画 数 复 
用 的 功能 ， 其 实现 请 参考 代码 清单 6-3。 该 程序 库 和 Test0penSave 拥 
有 一 致 的 编码 风格 ， 都 利用 简单 明了 的 指令 来 操作 被 测 对 象 ， 用 
TestLog 来 记录 操作 步骤 和 检查 操作 结果 © 


。TestLib 的 函数 EnsureFileExists 和 EnsureNowordProcess 
以 Ensure 作为 函数 名 的 前 级 ， 以 表明 它们 会 检查 特定 的 条 件 。 如 果 条 
件 不 为 真 ， 它 们 会 调用 TestLog .Fail 来 记录 错误 消息 并 抛 出 异常 。 
测试 代码 用 这 些 函 数 来 检查 对 测试 执行 非常 重要 的 条 件 ， 如 果 这 些 条 
件 不 成 立 ， 测 试 执行 应 该 中 止 。 


代码 清单 6-1 ”测试 Word 读 取 和 另存 文件 的 画 数 


/// <Summary> 

/// Test method that opens and saves a document 

/// </summary> 

/// <param name="sSourceFilePath">source document to open</param> 
/// <param name="SaveFormat">file format to save</param> 

public void TestOpenSave(string sourceFilePath, Word.WdSaveFormat 
saveFormat ) 


{ 


TestLog.Comment("-- Start TestOpenSave"); 
TestLog.Comment("sourceFilePath={0}", sourceFilePath); 
TestLog.Comment("saveFormat={0}", saveFormat); 


TestLog.Comment("-- Check test preconditions"); 
TestLib.EnsureFileExists(sourceFilePath) ; 


TestLog.Comment("-- Boot Word"); 
Word.ApplicationClass word = TestLib.BootWord(); 


TestLog.Comment("-- Open document ({0})", sourceFilePath) ; 
Word.Document document = word.Documents.Open(sourceFilePath) ; 
TestLog.VerifyEqual(word.Documents.Count, 1, 

"One document should be opened"); 


TestLog.Comment("-- Compute unique target file path"); 
string targetFolder = System.1I0.Path.GetTempPath(); 
TestLog.Comment("targetFolder={0}", targetFolder); 
string targetFile = string.Format("{O}{1}_{2}.{3}", 
targetFolder, System.Guid.NewGuid(), 
saveFormat, this.GetExtension(saveFormat ) ); 
TestLog.Comment("targetFile={0}", targetFile); 


TestLog.Comment("-- Save document"); 

object oTargetFile = targetFile; 

object oSaveFormat = saveFormat; 

document .SaveAs2(ref oTargetFile, ref oSaveFormat, 
ref missing, ref missing, ref missing, 


ref missing, ref missing, ref missing, 
ref missing, ref missing, ref missing, 
ref missing, ref missing, ref missing, 
ref missing, ref missing, ref missing); 


TestLog.Comment("-- Check saved document"); 
TestLog.VerifyTrue(document.Saved, "Document should be saved"); 
TestLog.VerifyEqual( document .FullName.ToLower(), 
targetFile.ToLower(), 

"File paths should be same"); 
TestLib.EnsureFileExists(targetFile); 
TestLog.Comment("-- Close Word"); 
TestLib.CloseAllDocumentAndQuit (word); 


代码 清单 6-2 ”日 志 程 序 库 TestLog 的 实现 


static class TestLog 


{ 
enum LogLevel 
{ 
Comment, 
Warning, 
Error 
} 


public static void Comment(string format, params object[] 
parameters) 


Log(LogLevel.Comment, format, parameters); 


public static void VerifyTrue(bool condition, string message) 
if (!condition) 
Log(LogLevel.Error, message); 


} 


public static void VerifyEqual(object actual, object expected, 
string message) 


if(!actual.Equals(expected) ) 


Log(LogLevel.Error, 
"The actual value ({0}) does not equal the expected 


value ({1})," 
+ "message: {2}", 
actual, expected, message); 


} 


public static void Fail(string format, params object[] parameters) 


Log(LogLevel.Error, format, parameters); 
throw new Exception(string.Format(format, parameters)); 


} 


private static void Log(LogLevel level, string format, params 
object[] parameters) 


// 将 错误 消息 广播 给 日 志 的 监听 者 


代码 清单 6-3 ”程序 库 TestLib 提供 了 可 复 用 的 函数 


static class TestLib 


{ 


private static object missing = Type.Missing; 

public static Word.ApplicationClass Bootword ( ) 
TestLog.Comment("-- Boot Word process and show its window"); 
var word = new Word.ApplicationClass(); 


TestLog.VerifyEqual(Process.GetProcessesByName("winword").Length, 1, 
"There should be one Word process"); 


return word; 


} 


public static void CloseAll1DocumentAndQuit(Word.ApplicationClass 
word) 


{ 
TestLog.Comment("-- Start CloseAllDocumentAndQuit"); 


object doNotSaveChanges = 
Word.WdSaveOptions.wdDoNotSaveChanges; 


TestLog.Comment("-- Close all documents"); 


int beforeCloseCount = word.Documents.Count; 
TestLog.Comment("Before close, Word document count={0}", 
beforeCloseCount) ; 


while (word.Documents.Count > 0) 


word.ActiveDocument.Close(ref doNotSaveChanges, ref 
missing, ref missing); 
int afterCloseCount = word.Documents.Count; 


TestLog.Comment("After close, Word document count={0}", 
afterCloseCount); 
TestLog.VerifyTrue(beforeCloseCount - afterCloseCount == 1, 
"One document should be closed"); 
beforeCloseCount = afterCloseCount; 
} 


TestLog.Comment("-- Quit Word process"); 
word.Quit(ref missing, ref missing, ref missing); 


System. Threading. Thread.Sleep(2 * 1000); // 等 2 秒 ， 以 待 Word 进 程 


EnsureNowWordProcess(); 


} 
public static void EnsureFileExists(string filePath) 


if (!System.I0.File.Exists(filePath) ) 
TestLog.Fail("file ({0}) does not exist", filePath); 
} 


public static void EnsureNoWordProcess() 


{ 
int wordProcessCount = 
Process.GetProcessesByName("winword").Length; 
if (wordProcessCount != 0) 
TestLog.Fail("There should not be Word processes"); 


虽然 编写 面向 调试 的 代码 需要 测试 人 员 付 出 额外 的 努力 ， 但 是 这 能 获得 长 
久 的 收益 。 大 多 数目 动 化 测试 会 运行 多 次 ， 一 些 测试 用 例 甚至 会 运行 多 
年 。 良 好 的 可 调试 性 能 够 大 幅度 降低 失败 调查 的 开销 ， 帮 助 测试 人 员 更 快 
地 提交 人 缺陷 和 修复 测试 代码 的 错误 。 


6.2.5 “系统 测试 的 测试 开发 


随 着 测试 对 象 的 变化 ， 测 试 开发 的 需求 和 方法 也 会 发 生 相应 的 变化 。 例 
人 的 表 6-1 概 述 了 它们 


表 6-1 对 比 单元 级 别 和 系统 级 别 的 自动 化 测试 


二 单元 测试 系统 测试 


(一 个 类 的 ) 一 个 函数 。 |。 测试 系统 一 个 功能 。 
几 个 紧密 联系 的 函数 〈 可 |o 测试 几 个 相互 协作 的 功能 。 对 于 大 型 系统 ， 一 条 
res 测试 用 例会 覆盖 若干 子 系统 


测试 运行 速度 快 ， 可 以 立即 提 e 测试 用 例 的 首要 任务 是 检查 产品 在 真实 环境 中 的 
对 代码 修改 的 检查 结果 。 表现 。 其 测试 运行 速度 通常 比 单元 测试 慢 几 个 数量 
; 测试 用 例 集 能 够 周密 地 覆盖 级 。 

测 对 象 。 优 秀 的 测试 用 例 集 能 提 r 最 重要 的 业务 流程 。 受 到 技术 和 资 
t90% 以 上 的 语句 履 盖 率 制 ， 系 统 测 试 的 语句 覆盖 率 较 低 
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居 代 码 实现 设计 测试 用 
Miz ASEM © SATIN TT 
运行 速度 ， 好 的 单 需 解 产 品 F 功 能、 输入 输出 格式 等 技 
不 访问 文件 、 网 络 、 细节 ， Wee 
服务 等 外 部 资源 。 为 了 测试 JES ， 系 统 测试 会 覆盖 文 
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被 测 对 象 ， 让 它们 位 于 同一 个 ; 运行 在 两 个 i o 
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每 一 个 测试 用 例会 创建 自己 的 | 测试 进程 ) ， 之 前 运行 的 测试 用 例 可 能 影响 到 之 后 
测试 对 象 ， 因 此 测试 用 例 之 间 相 | 运行 的 测试 用 
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一 般 说 来 ， 测 试 人 员工 作 在 组 件 和 和 系统 级 别 ， 其 测试 会 覆 兰 产品 的 多 个 
部 件 和 功能 ， 所 以 他 的 目 动 化 测 弃 也 俩 癌 系 统 层 次 ， 会 覆 凋 产品 的 多 个 特 
性 。 为 了 更 好 地 开发 和 维护 目 动 化 的 系统 测试， 测试 人 员 除 了 参考 基本 的 
测试 开发 方法 ， 还 要 根据 系统 测试 的 特点 ， 采 取 一 些 有 和 针对 性 的 实践 。 对 
此 ， 本 市 将 讨论 几 个 典型 的 系统 测试 的 开发 实践 。 


实践 1: 全 自动 的 产品 安装 是 最 基本 的 可 测试 性 需求 


代码 清单 6-4 来 自 单元 测试 框架 NUnit 的 教程 [INUnitQuickStart12]。 测 斌 函数 
TransferFunds 测试 负责 转账 功能 的 函数 Account ， TransferFunds 

， 它 获得 可 测试 对 象 的 方法 是 用 new 操 作 符 生成 转 出 账户 和 转 入 账户 。 这 是 
典型 的 单元 测试 的 测试 准备 方法 : 测试 用 例 和 被 测 对 象 运行 在 同一 个 进程 
中 ， 由 测试 框架 加 载 被 测 对 象 所 在 的 程序 集 ， 由 测试 用 例 安 排 被 测试 对 象 
的 生命 周期 。 整个 过 程 不 需要 部 署 完整 的 产品 。 


代码 清单 6-4 ”单元 测试 样 例 


[Test] 
public void TransferFunds() 


// setup 
Account source = new Account(); 
source. Deposit(200m) ; 


Account destination = new Account(); 
destination.Deposit(150m); 


// execute 
source. TransferFunds(destination, 100m); 


// check 
Assert.AreEqual(250m, destination.Balance); 
Assert.AreEqual(100m, source.Balance); 


系统 测试 的 测试 对 象 是 完整 的 软件 系统 或 子 系统 ， 因 此 它 会 要 求 在 测试 执 
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。 所 谓 “ 全 上 自动 ”是 指 测 试 人 员 只 要 执行 一 个 命令 ， 安 装 程序 就 可 以 将 产 
品 部 署 到 指定 的 测试 环境 中 ， 即 “一 键 部 署 ”。 测 试 人 员 需 要 在 项 目 过 
程 中 多 次 部 署 产品 ， 如 果 安 装 过 程 要 求 复 杂 的 手工 操作 ， 劳 必 会 占用 
大 量 测试 时 间 ， | 而 且 ， 杜 燥 的 手工 配置 很 可 能 
因为 疏忽 而 引入 安装 错误 ， 而 包含 错误 配置 的 产品 会 导致 系统 测试 失 
败 。 当 测试 人 员 费 尽心 力 地 调查 测试 失败 ， 却 发 现 这 是 安装 错误 引起 
的 ， 会 备 感 挫折 。 


。 所 谓 “ 可 预先 配置 ”是 指 测试 人 员 可 以 用 配置 文件 或 配置 脚本 指挥 安装 
程序 ， 让 安装 后 的 产品 符合 预先 定义 的 配置 。 因 为 大 多 数 产 品 的 安装 
需要 用 户 提 供 一 些 参 数值 ， 可 预先 配置 实际 上 是 全 自动 安装 的 前 提 条 
件 。 对 于 分 布 式 系统 的 开发 和 测试 ， 这 尤其 重要 。 例 如 ， 被 测 的 网 络 
服务 需要 访问 数据 库 ， 因 此 测试 人 员 需 要 配置 它 的 数据 库 连接 字符 

串 ， 以 指向 恰当 的 测试 用 数据 库 。 可 预先 配 置 的 安 洲 让 测试 人 员 在 配 
pn ee oe eee ere 
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在 全 目 动 和 可 预先 配置 的 基础 上 ， 项 目 团队 可 以 用 一 组 配置 文件 在 所 
有 环境 中 部 署 产品 。 例 如 ， 配 置 文件 A 将 产品 部 署 到 测试 开发 环境 ， 

该 环境 通常 用 一 台 机 絮 运 行 多 个 服务 和 数据 库 ， 配 置 文件 B 将 产品 部 署 
到 功能 测试 环境 ， 该 环境 通常 包含 多 台 计 算 机 以 模拟 出 产品 环境 的 特 
征 ; 配置 文件 C 将 产品 部 嗜 到 预 发 布 环境 ， 该 环境 与 产品 环境 拥有 相同 
的 拓扑 结构 和 相似 的 数据 ; 配置 文件 D 将 产品 部 署 上 线 。 可 预先 配置 的 


全 目 动 安 闭 向 化 了 测试 环境 的 搭建 ， 提 高 整个 测试 开发 与 执行 的 效 
率 。 此 外 ， 用 相同 的 机 制 在 测试 环境 和 产品 环境 中 部 署 产 品 ， 不 但 能 
够 尽早 地 发 现 安 洲 程序 的 错误 ， 还 可 以 模拟 出 产品 升级 、 补 丁 上 线 等 
情景 ， 对 于 提高 安 闭 程序 的 质量 很 有 帮助 。 


在 大 多 数 团队 ， 安 流程 序 由 编程 小 组 人 负责 开发 和 维护 。 在 项 目 之 初 ， 测 试 
小 组 、 产 品 经 理 和 编程 小 组 需要 共同 协商 ， 让 安装 程序 可 以 支持 全 有 自动 安 
装 。 最 佳 结 果 是 全 自动 且 可 预先 配置 的 安装 成 为 第 一 等 级 的 功能 需求 ， 被 
写 入 规格 说 明和 设计 文档 。 可 接受 的 结果 是 编程 小 组 同意 向 测试 小 组 提供 
以 下 测试 文 持 。 


。 安装 程 序 可 以 部 署 完整 的 系统 。 
。 因为 安 流失 败 会 阻碍 后 续 测试 ， 安 泛 程 序 的 缺陷 会 获得 最 高 优先 级 。 
e 当 一 项 功能 被 提交 给 测试 小 组 时 ， 该 功能 可 以 被 安装 程序 自动 部 署 。 


。 如 采 测 斌 人员 认 为 安装 程序 需要 接受 额外 的 配置 参数 ， 产 品 经 理 、 程 
序 员 、 测 试 人 员 协 商 决 定 是 否 或 如 何 文 持 该 配置 参数 。 


产品 安 朔 是 一 项 容易 被 忽视 的 工作 项 。 当 产品 经 理 思 考 产品 特性 、 程 序 员 
构思 代码 实现 时 ， 他 们 很 可 能 会 坪 记 正确 的 安装 是 交付 任何 产品 价值 的 前 
所 。 作 为 最 早 使 用 产品 的 人 ， 测 试 人 员 应 该 明确 提出 全 目 动 安装 是 一 项 重 
要 的 可 测试 性 需求 ， 需 要 在 整个 项 目 周期 获得 第 一 流 的 支持 。 


实践 2:， 使 用 单独 的 进程 监控 测试 运行 


在 运行 代码 清单 6-4 所 示 的 单元 测试 时 ， 测 试 程序 (nunit.exe) 加 载 测试 画 
数 (TransferFunds ) 和 被 测 类 (Account ) 的 程序 集 ， 在 同一 个 进程 
中 运行 测试 程序 和 被 测 代码 。 与 单元 测试 不 同 ， 系 统 测 试 通常 会 启动 多 个 
DERE: 运行 测试 用 例 的 进程 和 被 测 产品 的 进程 。 例 如 ， 代 码 清 单 6-1 所 示 的 
系统 测试 运行 在 测试 框架 进程 中 ， 其 测试 对 象 Word 运 行 在 另 一 个 进程 中 。 


在 多 进程 的 测试 中 ， 被 测 进程 可 能 发 生死 循环 、 死 锁 、 忙 等 外 部 资源 等 情 
况 而 失去 啊 应 。 这 时 ， 等 待 被 测 进 程 输出 的 测试 男 数 也 会 陷入 “假死 ? 状 
态 。 对 此 ， 测 试 程序 需要 有 办 法 终止 当前 测试 用 例 ， 记 录 错 误 并 重启 被 测 
进程 。 一 个 第 见 的 做 法 是 测试 程序 启动 一 个 线程 来 计时 ， 一 旦 该 线程 发 现 
测试 函数 的 执行 时 间 超过 预定 值 ， 融 会 癌 执 行 测试 男 数 的 线程 发 出 终 正 消 
轧 。 在 收 到 终止 消 妃 后 ， 测 试 执行 线程 会 退出 当前 测试 ， 并 让 测试 清理 代 
码 重 置 测试 环境 。 


对 于 复杂 产品 的 系统 测试 ， 一 个 独立 的 监控 进程 〈 甚 至 一 组 监控 进程 ) 可 
能 是 更 健壮 的 测试 设计 。 当 测试 代码 进行 复杂 操作 时 ， 它 也 可 能 陷于 死 循 
环 、 死 锁 等 错误 中 ， 使 得 整个 测试 进程 失去 响应 。 此 时 ， 运 行 在 测试 进程 
内 部 的 计时 线程 和 测试 清理 代码 可 能 没有 机 会 运行 ， 使 得 整个 自动 化 流程 
无 法 发 现 测 试 已 经 停 清 并 进行 自我 修复 。 对 于 这 种 情况 ， 测 试 人 员 可 以 考 
虑 图 6-3 所 示 的 架构 ， 用 一 个 监控 进程 去 监视 并 管理 测试 进程 和 产品 进程 。 
它 一 旦 发 现 某 个 进程 失去 响应 或 运行 超时 ， 束 记录 错误 日 志 并 终止 该 进 

程 。 如 果 是 产品 进程 被 终止 ， 测 斌 进程 会 发 现 产 品 进 程 退 出 ， 它 会 执行 测 
试 清理 代码 ， 并 启动 下 一 条 测试 。 如 果 是 测试 进程 发 生 问 题 ， 监 探 进程 通 
常会 终止 所 有 进程 ， 并 重启 测试 进程 以 执行 下 一 条 测试 。 通 常 ， 监 控 代 码 
i eee 有 助 于 实现 稳定 的 故障 恢复 
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测试 进程 


图 6-3 ”监控 进程 
实践 3: 采用 多 种 技术 记录 测试 执行 过 程 和 被 测 产品 表现 


如 代码 清单 6-4 所 示 的 单元 测试 利用 断言 (Assert .AreEqual ) 和 异常 来 
报告 软件 错误 ， 并 将 这 些 信息 写 入 测试 日 志 。 因 为 单元 测试 目标 明确 、 代 
码 短小 ， 程序 员 参 照 测 试 代码 阅读 测试 日 志 就 以 大 致 了 解 测试 代码 的 执行 
情况 。 通 常 ， 他 根据 断言 或 异 信 息 就 以 定位 出 错 的 测试 语句 ， 向 前 浏览 一 
段 测试 代码 就 能 够 了 解 出 错 的 原因 。 


系统 测试 的 流程 较 长 ， 和 覆盖 产品 的 多 个 功能 和 部 件 ， 可 能 其 露出 多 种 不 同 
类 型 的 缺陷 。 因 此 ， 测 试 人 员 应 该 用 多 种 方法 来 监控 产品 和 记录 测试 执行 
信息 。 一 方面 十 提供 更 多 的 信息 ， 以 便于 错误 调查 ， 男 一 方面 古 从 多 个 角 
度 检查 软件 ， 从 而 识别 软件 缺陷 。 以 下 是 一 些 常 见 的 实践 方法 。 


采用 6.2.3 市 介绍 的 测试 开发 方法 ， 通 过 日 志 函 数 来 记录 测试 参数 、 测 
产品 输出 等 信息 轧 ， 让 测试 日 志 可 以 提供 测试 执行 和 产品 状态 
re 细 aE a 


采用 6.2.3 世 介绍 的 测试 开发 方法 ， 在 每 一 步 操作 结束 后 ， 检 查 产 品 的 
TRA ABI, BABI, BCS RBM Fit ° UA BIT RS 
act ` 符 合 预期 的 异常 情况 ， 使 得 暴露 错误 的 地 点 尽 可 能 地 接近 错误 
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通过 屏幕 截图 来 捕获 产品 的 状态 。 对 于 拥有 图 形 界面 的 软件 而 言 ， 一 
幅 屏 项 截图 可 以 提供 其 状态 的 快照 ， 能 够 提供 许多 细 市 信息 。 测 试 人 
员 可 以 选择 或 开发 文 持 屏幕 截图 的 测试 框 染 。 该 框架 为 测试 开发 提供 
了 屏 蒂 截图 芳 数 ， 并 且 会 在 测试 失败 时 目 动 截取 当前 屏 傍 ， 将 图 片 保 
存在 测试 日 志 目 录 。 利 用 屏 医 截 图 函数 ， 测 试 人 员 可 以 在 关键 操作 之 
前 或 之 后 截取 屏幕 ， 以 记录 一 组 产品 的 快照 。 在 调查 测试 失败 时 ， 测 
斌 人员 打开 测试 日 志 目 录 ， 浏 咒 这 组 屏 间 截 图 即 可 以 了 解 产 品 对 测试 
操作 的 反应 。 在 许多 情况 下 ， 这 批 图 片 将 提供 测试 失败 的 重要 线索 。 


当 测 试 程序 (或 监控 程序 ， 发 现 产 品 处 于 异常 状态 时 ， 它 调用 操作 系 
统 提 供 的 API 生 成 产品 进程 的 内 存 转 储 文件 。 该 文件 可 以 帮助 测试 人 员 
了 解 产品 状态 的 细节 ， 提 高 故障 诊断 的 效率 。 此 外 ， 测 试 程序 可 以 修 
改 操 作 系 统 配 置 ， 让 操作 系统 目 动 生成 月 江 进程 的 内 存 转 储 文件 。 在 
测试 结束 时 ， 测 试 程序 将 狐 生成 的 内 存 转 储 文件 移动 到 测试 日 志 目 
K, MAWRA RIH ° 
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。 对 于 长 时 间 运 行 且 不 重启 产品 的 系统 测试 ， 测 试 程序 需要 持续 监控 产 
品 的 性 能 指标 和 资源 占用 情况 。 和 常见 的 性 能 指标 包括 产品 对 用 户 操 作 
的 啊 应 时 间 、 完 成 特定 任务 的 时 间 、 在 单位 时 间 内 完成 业务 的 数量 
等 ， 篆 见 的 资源 对 象 包 括 CPU、 内 存 、 句 酉 、 网 络 市 完 、 数 据 库 连接 
等 。 如 采 发 现 产品 出 现 速度 迟缓 、 资 源 占 用 过 多 、 资 源 诬 漏 等 问题 ， 
测试 程序 需要 记录 错误 信息 ， 并 保存 内 存 转 储 文件 和 相关 性 能 数据 。 
这 有 助 于 发 现 一 些 长 时 间 测 试 才能 骏 露 的 问题 。 


实践 4: 利用 关系 型 数据 库存 储 测试 数据 和 产品 输出 


如 有 果 系 统 测 试 需要 庞大 的 测试 数据 或 产品 会 产生 大 量 的 输出 数据 ， 测 试 人 
St 关系 型 数据 库 来 管理 这 些 输入 或 输出 数据 。 以 下 是 两 个 案 
i o 


案例 1 : 订单 处 理 服 务 A 是 整个 工作 流 的 一 部 分 ， 它 从 订单 数据 库 中 读 取 订 
单 ， 对 各 个 字段 进行 计算 ， 然 后 将 计算 结 打 写 回 订单 数据 库 ， 供 其 他 服务 
继续 处 理 。 在 产品 环境 中 ， 该 服务 每 天 会 处 理 大 量 的 订单 ， 产 生 许多 计算 
结果 。 测 斌 人员 开发 了 多 种 自动 化 测试 ， 从 多 个 角度 来 测试 它 。 其 中 一 种 
T PRE as 其 架构 如 图 6-4 所 示 ， 其 执行 过 程 如 


启动 与 停止 


测试 程序 订单 处 理 服务 A 


读 取 订 单 、 
写 人 计算 结果 


测试 数据 库 
“ 产品 数据 库 架 构 
* 测试 用 途 的 表格 、 
存储 过 程 等 


调用 测试 用 途 
的 存储 过 程 
读 取 测试 用 途 
的 表格 


源 数据 库 


图 6-4 用 测试 数据 库 来 测试 订单 处 理 服务 


1. 测试 程序 调用 测试 人 员 编 写 的 数据 库 创 建 脚本 ， 生 成 名 字 唯 一 的 测试 数 
据 库 。 该 数据 库 的 架构 包含 产品 数据 库 染 构 以 及 一 组 测试 用 途 的 表格 和 存 


储 过 程 


2. 测试 程序 调用 测试 数据 库 的 存储 过 程 ImportOrder， 将 一 批 订单 数据 从 源 
数据 库 导 入 到 测试 数据 库 。 源 数据 库 的 订单 包含 产品 数据 库 的 真实 数据 和 
测试 人 员 制 造 的 测试 数据 。 


3. 测试 程序 修改 服务 A 的 数据 库 链 接 字 符 串 ， 让 它 指向 测试 数据 库 。 
4. 测试 程序 局 动 服务 A 。 
5. 服务 A 持续 从 测试 数据 库 读 取 订 蛙 ， 并 将 结果 写 回 测试 数据 库 。 


6. 测试 程序 调用 测试 数据 库 的 存储 过 程 CheckProgress， 以 检查 尚未 处 理 的 
订单 数量 。 如 果 服 务 A 没 有 在 规定 时 间 内 完成 所 有 订单 计算 ， 测 试 程序 会 记 
录 错 误 信 息 ， 并 终止 测试 。 


7. 在 服务 A 完成 了 订单 计算 之 后 ， 测 试 程序 调用 测试 数据 库 的 存储 过 程 
CheckResult， 以 检查 数据 库 中 的 计算 结果 。 该 存储 过 程 调用 一 组 存储 过 

程 ， 从 多 个 角度 分 析 服 务 A 的 输出 。 如 果 它 们 发 现 了 错误 ， 会 将 错误 信息 写 
入 表格 TestErros。 


8. 测试 程序 读 取 表 格 TestErros。 如 果 表 格 为 空 ， 测 试 程 序 记录 测试 通过 。 如 
果 表 格 不 为 宇 ， 测 试 程 序 记录 测试 失败 ， 并 将 测试 数据 库 的 连接 字符 串 写 
入 测试 日 志 ， 供 测试 人 员 分 析 。 因 为 测试 程序 每 次 会 创建 不 同名 字 的 测试 
数据 库 ， 所 以 之 后 的 测试 执行 不 会 删除 或 修改 之 前 的 测试 数据 库 。 通 常 ， 
测试 数据 库 会 在 几 天 后 被 一 个 定期 执行 的 程序 删除 。 


案例 2 :测试 人 员 将 一 个 性 能 测试 用 例 加 入 每 日 测试 。 该 测试 用 例 覆 盖 了 一 
个 典型 的 用 户 情 景 。 在 测试 用 例 的 最 后 一 步 ， 它 会 检查 测试 执行 的 用 时 。 
如 果 用 时 超过 规定 的 时 限 ， 它 会 记录 错误 信息 。 无 论 测试 是 否 失 败 ， 它 都 
会 将 被 测 产 品 的 版 本 号 、 测 试用 例 编号 和 用 时 写 入 一 个 性 能 数据 库 。 每 两 
周 ， 一 个 程序 会 读 取 性 能 数据 库 ， 生 成 报表 发 送 给 测试 人 员 。 当 测试 人 员 
读 到 如 图 6-5 所 示 的 曲线 图 时 ， 他 可 以 快速 了 解 产 品 的 性 能 变化 趋势 。 对 于 
编号 为 201 的 测试 用 例 ， 各 个 版 本 的 用 时 大 臻 相同， 说 明 产 品 在 这 个 用 户 情 
景 中 的 速度 表现 比较 稳定 。 对 于 编号 为 202 的 测试 用 例 ， 版 本 10.05 的 用 时 明 
显 融 于 之 前 版 本 ， 上 暗示 该 版 本 包含 一 些 代码 变更 ， 使 得 产品 速度 剧烈 下 

降 。 即 便 版 本 10.05 的 用 时 没有 超过 规定 的 时 限 ， 测 试 人 员 也 可 以 花 一 些 时 
间 调查 性 能 下 降 的 原因 ， 以 更 好 地 理解 产品 代码 的 变化 。 
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图 6-5 ”性 能 测试 报表 
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。 如 果 产 品系 统 包含 数据 库 ， 那 么 可 以 考虑 在 测试 环境 中 使 用 测试 数据 
库 来 模仿 产品 数据 库 ， 以 测试 访问 数据 库 的 软件 。 测试 数据 库 提 供与 
产品 数据 库 相 同 的 架构 〈 表 、 视 岁 、 画 数 、 存 储 过 程 等 ) ， 从 而 “无 
颖 ”地 融入 被 测 系统 。 它 还 包含 一 组 测试 用 途 的 表 、 画 数 、 存 储 过 程 、 
触发 妖 等 对 象 ， 以 便 在 测试 过 程 中 检查 对 数据 库 的 读 写 。 此 时 ， 测 试 
数据 库 是 一 种 模拟 对 象 ， 它 既是 被 测 系 统 的 一 部 分 ， 承 担 看 特定 的 业 
务 任 务 ， 又 是 目 动 化 测试 的 一 部 分 ， 承 担 着 测试 系统 的 工作 。 


数据 库 提 供 了 强大 的 数据 存储 和 处 理 能 力 。 利 用 SQL 语言 ， 测 试 人 员 
能 够 方便 且 高 效 地 查询 、 修 改 、 生 成 大 量 的 数据 。 这 对 自动 化 测试 的 
数据 准备 、 结 果 检 查 、 报 告 生 成 等 任务 很 有 帮助 。 


利用 数据 库 可 以 方便 地 分 析 数 据 。 在 测试 设计 、 故 障 诊 断 等 任务 中 ， 
测试 人 员 都 需要 分 析 产 品 所 读 取 和 产生 的 数据 。 如 果 这 些 数 据 存 储 在 
数据 库 中 ， 测 试 人 员 可 以 用 SQL 查 询 去 灵活 地 探索 它们 ， 通 过 反复 地 
a ` 分 析 、 再 查询 来 理解 数据 状态 ， 从 而 更 好 地 把 握 整 个 系统 的 行 


利用 数据 库 可 以 方便 地 生成 报表 。 目 前 ， 有 多 种 成 熟 的 技术 可 以 读 取 
数据 库 ， 并 生成 各 种 独 表 。 测 试 人 员 可 以 采纳 合适 的 技术， 来 分 析 测 
试 数据 或 测试 结 有 末 ， 并 获得 数据 的 可 视 化 表示 。 这 有 助 于 测试 人 员 快 
速 理解 数据 ， 发 气 其 中 的 信息 。 


SBS: 恰当 地 利用 基于 图 形 界面 的 “捕获 回放 ”技术 


在 软件 测试 中 ， 捕 获 回 放 征 指 用 工具 捕获 外 弄 对 软件 的 操作 ， 并 记录 为 测 
试 脚本 ， 然 后 根据 脚本 去 回放 事件 来 操控 软件 ， 并 检查 软件 的 反应 。 ÆT 
图 形 界面 的 捕获 回放 技术 记录 用 户 对 软件 的 输入 事件 ， 包 括 键 盘 输入 、 鼠 
标点 击 、 和 触摸 手势 等 ， 并 通过 回放 这 些 事件 来 复 现 操作 流程 。 基 于 该 技 
Ñ, 测试 人 员 可 以 将 手工 的 测试 过 程 孙 制 为 测试 脚本 ， 然 后 重播 该 脚本 来 
检查 软件 的 行为 与 孙 制 时 的 行为 傈 持 一 致 。 


基于 图 形 界 面 的 捕获 回放 位 于 目 动 化 测试 金字 塔 的 项 层 ， 拥 有 较 高 的 测试 
on 并 不 适合 作为 回归 测试 在 项 目 中 反复 运行 。 其 主要 技术 局 限 如 


© 录制 所 得 的 脚本 的 可 读 性 较 差 。 它 只 是 忠实 地 记录 了 手工 测试 的 动作 
(常常 包含 一 些 见 余 的 动作 ) ， 没 有 体现 出 测试 的 意图 。 因 此 ， 理 解 
测试 脚本 是 一 项 困难 的 任务 。 


录制 所 得 的 脚本 依赖 于 录制 时 的 软件 界面 。 当 软件 界面 发 生变 动 时 ， 
脚本 需要 被 修改 或 重新 录制 。 在 许多 项 目 中 ， 软 件 界 面 会 快速 演化 ， 
这 显著 提高 了 修正 脚本 的 频率 。 


为 了 完善 测试 逻辑 ， 测 试 人 员 会 修改 录制 的 脚本 ， 以 增加 一 些 额 外 的 
操作 命令 或 检查 指令 ， 而 重新 录制 的 脚本 不 包含 这 些 额 外 的 命令 。 测 
试 人 员 需 要 在 新 脚本 中 再 次 添加 它们 ， 这 提高 了 测试 维护 的 成 本 。 


基于 图 形 界面 的 测试 常常 受到 各 种 因素 的 干扰 ， 而 不 够 稳定 。 例如 ， 

测试 用 例 向 软件 发 送 英 文字 符 串 ， 以 提供 字段 值 。 在 测试 执行 时 ， 中 

文 输入 法 因为 某 种 原因 被 启动 ， 于 是 实际 输入 的 字符 串 是 中 文字 答 
串 。 软 件 发 现 输入 字符 串 的 格式 不 正确 ， 于 是 报告 操作 失败 。 如 果 回 
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量 的 时 间 。 


虽然 基于 图 形 界面 的 捕获 回放 不 适合 反复 运行 的 回归 测试 ， 但 它 适用 于 一 
些 短 期 的 测试 任务 。 测 试 人 员 可 以 利用 捕获 技术 来 快速 生成 测试 脚本 ， 然 
后 用 回放 技术 来 重复 播放 测试 脚本 ， 以 完成 一 些 操 作 密 集 的 测试 任务 。 fil 
如 ， 测 试 人 员 需 要 评估 被 测 网 站 的 性 能 ， 他 采用 如 下 步 又 实施 测试 。 


eee 了 解 网 站 需要 支持 多 少 并 发 会 话 ， 并 确定 一 组 典型 的 用 
H AR 


2. 走访 实际 用 户 ， 与 他 们 讨论 并 完善 这 组 使 用 情景 ， 并 确定 每 个 情景 的 使 
用 频率 。 


3. 根据 前 两 步 的 结果 ， 明 确 基本 测试 需求 :该 网 站 最 多 支持 500 个 并 发 会 
话 ， 拥 有 6 个 典型 的 用 户 情景 。 


4. 选择 一 个 功能 稳定 的 版 本 作为 测试 对 象 ， 并 搭建 测试 环境 。 


5. 使 用 捕获 回放 工具 来 孙 制 这 6 个 情景 。 对 于 每 个 情景 ， 他 移 手 工 操作 一 
这， 然后 回放 孙 制 所 得 的 脚本 。 如 琳 脚 本 不 能 准确 再 现 手 工 操 作 的 流程 ， 
他 会 调试 并 修改 脚本 ,或 者 重新 录制 一 退 。 因 为 他 使 用 的 捕获 回放 工具 比 
较 成 熟 ， 获 得 一 个 稳定 的 脚本 只 需 15~20 分 钟 ， 所 以 他 只 用 两 个 小 时 就 生成 
了 所 有 脚本 。 如 果 通 过 编码 来 实现 这 些 脚本 ， 他 可 能 需要 1~2 天 的 时 间 。 捕 
获 回放 工具 提高 了 测试 开发 的 效率 。 


6. 用 一 个 虚拟 用 户 来 分 别 运行 6 个 脚本 ， 获 得 它们 在 单 用 尸 情 光 下 的 基线 性 


能 数据 。 


7. 用 测试 工具 生成 50 个 虚拟 用 户 ， 并 发 地 执行 这 6 个 脚本 。 他 根据 使 用 频率 
来 分 配 虚 拟 用 户 数 ， 即 最 常见 的 用 户 情景 获得 最 多 的 虚拟 用 户 ， 相 对 少见 
的 用 户 情 景 获 得 较 少 的 虚拟 用 户 。 该 测试 持续 10 分 钟 ， 每 个 虚拟 用 户 都 反 
复 执行 了 它 所 获得 的 脚本 。 测 试 人 员 收 集 到 一 批 性 能 数据 。 


8. 执行 测试 ， 以 获得 100 个 、200 个 、300 个 、400 个 、500 个 虚拟 用 户 的 性 能 
数据 。 


9. a ， 以 检查 超过 预期 峰值 的 流量 会 对 网 站 产 
生 何 种 影响 。 


10. 运行 1000 个 虚拟 用 户 的 压力 测试 ， 并 收集 性 能 数据 。 


11. 分 析 所 有 性 能 数据 ， 编 写 性 能 测试 报告 以 总 结 测 试 发 现 ， 然 后 将 报告 发 
送 给 项 目 团队 。 


12. 根据 团队 成 员 对 性 能 测试 报告 所 提出 的 问题 ， 设 计 并 执行 新 的 测试 ， 以 


获得 答案 。 


分 析 以 上 步 又 不 难看 出 ， 该 测试 策略 回避 了 捕获 回放 的 基本 缺点 。 首 先 ， 
测试 人 员 只 和 隶 制 少量 的 脚本 来 覆盖 典型 的 用 户 情景 ， 这 降低 了 意外 因素 对 
测试 运行 的 影响 。 其 次 ， 所 录制 的 脚本 只 针对 特定 版 本 ， 从 而 不 必 担 心 用 
户 界 面 变 更 导致 的 测试 失败 。 再 次 ， 下 次 执行 系统 级 的 性 能 测试 时 ， 网 站 
可 能 拥有 新 的 界面 和 用 户 情景 ， 测 试 人 员 会 放弃 失效 的 脚本 ， 录 制 新 的 脚 
ee Re aye eer nee 
中 修改 性 。 


目前 ， 主 流 的 捕获 回放 工具 对 脚本 录制 、 脚 本 播放 、 虚 拟 用 户 生 成 、 性 能 
数据 收集 、 性 能 数据 分 析 都 提供 了 较 好 的 支持 。 测 试 人 员 可 以 在 一 天 内 完 
成 第 (5) 步 ~ 第 (11) 步 的 脚本 生成 、 测 斌 运行、 数据 分 析 和 报告 编写 。 这 加 快 
了 性 能 测试 的 反馈 速度 ， 提 高 了 性 能 测试 的 机 动 性 。 对 于 一 些 项 目 团队 ， 
基于 图 形 界面 的 捕获 回放 技术 为 此 类 测试 提供 了 足够 好 的 解决 方案 。 
实践 6: 为 测试 执行 和 失败 调查 制定 明确 的 工作 流程 
编写 目 动 化 系统 测试 的 目的 是 为 了 获得 产品 的 质量 信息 ， 所 以 编写 代码 只 
完成 了 工作 的 一 部 分 。 系 统 测试 比 单元 测试 复杂 得 多 ， 和 需要 大 量 的 时 间 来 
运行 ， 会 产生 大 量 且 复杂 的 错误 信息 。 如 果 玖 于 管理 ,测试 小 组 可 能 无 法 
及 时 、 有 效 地 处 理 这 些 信息 ， 也 不 能 快速 地 修复 测试 代码 的 错误 。 久 而 久 
之 ， 测 试用 例 集会 包含 很 多 有 问题 的 测试 用 例 ， 产 生 伴 随 大 量 “ 品 音 ” 的 测 
斌 结果， 并 失去 测试 人 员 的 信任 。 为 了 推动 系统 测试 的 民 性 发 展 ， 测 试 小 
组 需要 制定 工作 流程 ， 以 明确 地 回答 以 下 问题 。 

。 由 目 动 化 系统 测试 组 成 的 回归 测试 用 例 集 有 哪些 ? 

。 这些 回归 测试 用 例 集 以 什么 频率 运行 ? 
谁 负 责 局 动 这 些 回 归 测 试用 例 集 ? 
谁 负 责 搭 建 并 维护 系统 测试 的 测试 环境 ? 
。 谁 负责 发 送 测 试用 例 集 的 测试 结果 报告 ? 
谁 负责 调查 测试 失败 ? 是 测试 编写 着 调查 ， 还 是 团队 共同 调查 ? 
© 测试 失败 调查 的 完成 标准 是 什么 ? 
。 测试 失败 调查 需要 在 什么 时 限 内 完成 ? 
。 谁 负 责 修复 有 错误 的 测试 代码 ? 
测试 代码 修复 完成 的 标准 什么 ? 
测试 代码 修复 需要 在 什么 时 限 内 完成 ? 


E EE 
行动 ? 


如 果 和 需要 修改 测试 运行 、 调 查 、 修 复 的 例 行 流程 ， 应 该 采取 什么 行 
动 ? 


如 采 将 测试 代码 视 为 基于 产品 代码 的 应 用 ， 测 试 小 组 束 是 该 应 用 的 运 维 团 


Bho 


测试 领导 和 测试 人 员 应 该 共同 制定 出 运行 、 调 查 、 修 改 、 增 强 目 动 化 


测试 的 流程 和 制度 。 只 有 明确 人 员 责任 、 工 作 目 标 、 工 作 期 限 、 变 更 方 


法 ， 


才 有 可 能 让 复 洒 的 目 动 化 系统 测试 持续 地 提供 价值 。 


6.2.6 ”让 自动 化 测试 服务 于 项 目 


目 动 化 测试 的 目标 是 帮助 整个 团队 更 好 地 开发 产品 。 在 不 同 的 项 目 ， 测 试 
小 组 会 采用 不 同 的 目 动 化 策略 来 达成 该 目标 。 一 般 说 来 ， 好 的 目 动 化 测试 
能 够 平滑 地 融入 开发 流程 ， 快 速 、 稳 定 、 持 续 地 提供 产品 的 质量 信息 。 本 
世 分 享 我 的 一 次 目 动 化 经 历 ， 昌 然 实践 方法 只 适用 于 特定 的 项 目 ， 但 是 仍 
体现 了 一 些 好 的 思路 和 经 验 。 


我 曾经 参与 过 一 个 分 布 式 系 统 的 测试 。 当 时 ， 测 试 小 组 实践 了 一 种 与 持续 
集成 [Duvall07] 类 似 的 测试 活动 : 滚动 测试 。 这 征 一 个 全 目 动 的 编译 和 测试 
过 程 。 在 每 个 小 时 ， 测 试 脚本 从 源 代码 管理 系统 获得 最 新 版 本 的 代码 ， 进 
行 完 整 的 编译 。 然 后 ， 在 一 台 干 兆 的 机 右上 部 署 新 构建 的 系统 ， 并 执行 站 
到 端的 系统 测试 。 最 后 ， 用 电子 邮件 将 测试 结果 发 送 给 项 目 团 队 。 


深 动 测试 不 是 严格 意义 上 的 持续 集成 ， 不 过 它 发 挥 了 相似 的 作用 。 我 和 同 
事 硕 望 通过 它 来 达成 以 下 目标 。 


尽快 地 发 现 集成 错误 。 开 发 者 在 自己 的 开发 环境 中 工作 ， 他 所 看 到 的 
系统 是 他 最 后 一 次 检 出 的 结 采 ， 他 根据 这 一 版 本 的 “知识 ”来 开发 新 的 
功能 。 虽 然 两 个 开发 者 基于 相同 的 “知识 ”进行 开发 ， 但 是 不 能 保证 他 
们 所 构造 的 新 “理论 是 相互 一 致 的 。 往 往 ， 两 部 分 代码 都 通过 了 单元 
测试 ， 但 是 提交 之 后 却 引 发 了 集成 错误 。 滚 动 测试 用 端 到 端的 系统 测 
试 弥补 了 单元 测试 的 不 足 ， 能 够 快速 提供 系统 级 的 测试 反馈 。 


节省 开发 时 间 。 集 成 错误 往往 会 阻碍 全 面 的 系统 测试 。 例 如 ， 模 块 A 
不 能 正确 解释 模块 B 的 输出 ， 它 抛 出 异 向 并 停 目 工作 。 这 时 ， 系 统 测 试 
将 无 法 黎 瘟 模块 A 及 其 后 续 模 块 的 代码 。 这 将 产 重 影响 测试 效率 ， 甚 至 
使 得 每 日 运行 的 全 面 回归 测试 变 得 晕 无 效 末 。 滚动 测 试 可 以 在 代码 检 
入 之 后 的 一 个 多 小 时 内 捕获 到 此 类 严重 错误 ， 让 开发 者 能 够 在 第 一 时 
间 修 正 错 误 ， 清 除 测 试 障碍 。 有 时 开发 者 的 修正 会 引入 的 新 的 集成 错 
误 ， 深 动 测试 的 安全 网 会 再 次 捕 提 到 它 ， 于 是 我 们 有 机 会 保证 ， 在 下 
班 回 家 的 时 候 ， 没 有 明显 的 集成 错误 。 


发 现 环 境 错误 。 所 有 的 开发 者 都 应 该 听从 John Robbins 的 忠 不 要 在 
A 

RRIT MEHIINI, 假定 的 前 提 是 你 的 同伴 现在 没有 、 将 来 也 不 会 
TW eae BME ”[Kaner99] 由 于 开发 者 在 开发 机 上 拥有 
管理 员 权 限 ， 他 们 安装 了 各 式 各 样 的 工具 和 运行 库 ， 我 们 无 法 保证 所 
开发 出 的 系统 能 够 在 其 他 环境 中 以 合适 的 权限 正常 工作 。 滚 动 测试 在 
干净 的 机 器 REBARA, REIS RIAIT 2 TEIT RDE T TOTAA AS 
foie o PMA TIRANAS, HERKESE RRRA, REK 
HENE T 旧版 本 的 系统 o 


保证 被 测 版 本 的 基本 质量 。 这 使 测试 团队 更 有 信心 进行 大 规模 的 功能 
测试 和 压力 测试 。 


在 确定 目标 后 ， 我 们 进行 了 紧张 的 测试 开发 ， 在 很 短 的 时 间 内 完成 了 编码 
和 测试 环境 搭建 ， 开 始 了 整个 流程 的 运转 。 以 下 是 当时 的 开发 策略 。 


全 自动 地 编译 、 部 署 和 测试 。 如 图 6-6 所 示 ， 定 时 任务 在 每 个 整 点 触发 
流程 ， 测 弃 脚 本 从 源 代 码 管理 系统 获得 最 新 代码 ， 然 后 调用 编译 工具 
执行 完整 的 编译 。 如 果 编 译 失败 ， 测 试 脚本 发 邮件 报告 编译 失败 ， 然 
后 终止 流程 。 如 采编 译 成 功 ， 它 在 一 台 干 兆 的 机 右上 部 团 整 个 系统 ， 
o te 执行 系统 测试 。 最 后 ， 它 汇总 测试 结果 ， 生 成 测试 报 

， 并 用 邮件 发 送 给 负责 滚动 测试 的 测试 人 员 。 


部 署 完整 的 系统 “对 于 一 些 分 布 式 系统 而 言 ， 将 所 有 的 子 系统 部 嗜 在 
一 人 台 机 器 上 有 些 “ 不 合 情 理 *”。 但 是 ， 部 团 所 有 的 子 系统 可 以 测试 到 所 
有 的 子 系统 的 安装 ， 也 能 够 检查 出 由 于 子 系统 冲突 造成 的 安 半 失败。 

安装 是 任何 系统 的 核心 功能 ， 是 滚动 测试 必 不 可 少 的 测试 内 容 。 此 

at, 在 部 过 最 新 版 本 之 前 ， 滚动 测试 会 反 安 逆 旧 版 本 的 系统 。 这 也 测 
WAT ABA LRT BE 


用 DOS 脚 本 串联 各 步骤 。 从 以 上 流程 可 以 看 出 ， 访 动 测试 所 使 用 的 工 

具 无 非 是 : 操作 系统 的 定时 任务 、 源 代码 管理 工具 、 构 建 工 具 、 自 动 

eee ` 内 部 邮件 系统 ， 这 些 都 是 项 目 团队 的 常备 工具 。 因 此 ， 
合适 的 方法 将 工具 连接 起 来 ， 构建 出 完整 的 流程 ， n n 

ERa 在 Windows 平 台 上 ，DOS Shell 是 最 常用 的 脚本 技术 ， 

以 满足 大 部 分 的 要 求 ， 于 是 我 们 用 它 来 连 授 既 有 工具 。 


滚动 测试 要 能 够 在 30 分 钟 内 完成 。 如 果 深 动 测试 发 现 了 错误 ， 开 发 人 
员 需 要 在 滚动 测试 环境 中 调查 故障 原因 。 为 了 不 影响 下 一 次 滚动 测 
W, 一般 要 留 下 30 分 钟 的 时 间 给 开发 人 员 进 行 诊断 。 


构建 服务 器 测试 计算 机 测试 人 员 


(5) 发 送 测试 C) 


结果 邮件 而 


(2) 通知 测试 计算 
机 获取 最 新 构建 


(1) 在 整 点 ， 获 得 (3) 安装 构建 
最 新 代码 并 编译 (4) 运行 测试 


图 6-6 ”滚动 测试 流程 

编码 完成 只 古 测试 开发 的 第 一 步 ， 更 重要 的 是 在 测试 迭代 中 维护 测试 代 
码 ， 让 它们 持续 为 项 目 作出 页 献 。 为 了 快速 局 动 深 动 测试 ， 第 一 版 的 测试 
用 例 集 是 较 简 项 的 ， 只 包含 儿 条 很 商 单 的 测试 用 例 。 随 着 测试 的 推进 ， 我 
们 持续 改进 测试 用 例 集 。 以 下 是 当时 的 维护 策略 。 


测试 用 例 集 包含 最 重要 的 端 到 端 系统 测试 。 滚动 测试 的 主要 目的 是 发 
现 集成 错误 ， 因 此 测试 执行 应 该 能 够 “从 输入 到 输出 ” 履 盖 到 所 有 的 子 
系统 。 考 虑 到 用 户 价值 ， 测 试用 例 应 该 能 够 体现 最 重要 的 用 户 情景 。 
由 于 滚动 测试 的 时 间 有 限 ， 测 试用 例 应 该 < 贯 精 不 贵 多 ”， 用 较 少 的 用 
户 情 景 履 兰 所 有 的 子 系统 。 


测试 用 例 只 进行 必要 的 检查 。 有 些 功能 难以 用 简单 的 测试 用 例 来 尾 
将 ， 这 时 可 以 构建 独立 的 测试 用 例 集 来 检验 它 不 存在 三 重 的 错误 。 滚 
动 测试 的 目的 不 是 检查 出 所 有 的 错误 ， 而 是 发 现 那 些 会 阻碍 进一步 测 
试 的 缺陷 。 因 此 ， 不 需要 构建 完备 、 严 厉 的 测试 用 例 集 ， 只 需要 验证 
子 系统 的 基本 功能 可 以 工作 即 可 。 


确保 所 有 的 测试 用 例 是 正确 的 。 有 时 系统 的 设计 会 发 生变 更 ， 这 会 导 
致 部 分 测试 用 例 需 要 更 新 。 更 新 测试 用 例 的 工作 有 可 能 需要 几 个 工作 
日 才能 完成 。 这 时 ， 应 该 将 这 些 测试 用 例 从 深 动 测试 中 排除 出 去 。 否 
则 ， 当 深 动 测试 报告 测试 执行 失败 时 ， 测 试 人 员 不 能 立即 判断 是 被 测 
系统 的 问题 还 是 测试 用 例 的 问题 ， 这 将 闻 重 降低 深 动 测试 的 报警 作 

用 。 特 别 是 ， 如 末 测 试 人 员 “ 默 认 ” 测 试 失败 是 测试 用 例 的 问题 ， 那 么 
他 有 可 能 汤 过 严重 的 集成 错误 。 


及 时 地 维护 测试 用 例 集 。 系 统 会 增加 新 的 模块 、 用 户 情 景 会 发 生变 
化 、 测 试 工具 会 需要 更 新 ， 这 都 要 求 我 们 及 时 地 维护 深 动 测试 的 测试 
i sR 
J 测试 用 例 。 


。 及 时 地 啊 应 测试 报告 。 滚 动 测试 的 威力 在 于 根据 测试 结果 采取 及 时 的 
行动 。 如 果 对 于 每 小 时 一 次 的 错误 报告 采取 漠视 的 态度 ， 那 么 之 前 所 
花费 的 精力 将 宫 无 价值 。 我 的 做 法 是 利用 Microsot Outlook 的 邮件 规 
则 ， 对 测试 报告 邮件 生成 一 个 通知 。 当 测试 报告 到 达 时 ，Outlook 会 弹 
出 一 个 对 话 框 ， 我 只 需要 按 一 下 “ 回 车 ” 键 ， 就 可 以 看 到 报告 内 容 。 如 
果 有 问题 ， 则 进行 调查 ， 如 果 没 有 问题 ， 按 两 下 “取消 ” 键 束 可 以 天 闭 
邮件 和 对 话 框 。 此 外 ， 我 还 设置 了 另 一 条 邮件 规则 ， 将 所 有 的 测试 报 
告 邮件 归档 到 一 个 单独 的 文件 夹 中 。 


由 本 世 讨 论 可 以 看 出 ， 计 划 、 开 发 和 维护 是 自动 化 测试 的 基本 元 素 。 测 试 
小 组 需要 付出 持续 的 努力 ， 才 能 让 自动 化 测试 有 效 地 为 项 目 服务 。 


6.3 ”计算 机 辅助 测试 


为 了 完成 测试 使 命 ， 测 试 人 员 需 要 开发 各 种 类 型 的 代码 。 这 些 代 码 不 但 可 
以 用 于 执行 目 动 化 测试 ， 还 可 以 支持 测试 分 析 、 环 境 配 置 、 数 据 生成 、 失 
败 调查 、 结 采 管 理 等 测试 任务 。 本 革 已 经 讨论 了 目 动 化 测试 ， 本 市 将 介绍 
支持 其 他 测试 任务 的 软件 开发 。 


虽然 不 同类 型 的 测试 开发 会 得 到 看 似 分 离 的 代码 ， 但 是 它们 都 服务 于 项 目 
测试 ， 也 篆 常 会 相互 调用 、 彼 此 补充 ， 所 以 它们 可 以 共享 相同 的 开发 原则 
和 实施 相似 的 开发 方法 。 目 动 化 测试 的 开发 可 以 参考 本 市 介绍 的 策略 ， 测 
试 工 具 的 开发 也 可 以 考虑 本 章 已 经 介绍 的 实践 。 


6.3.1 “交通 工具 ”的 隐喻 


测试 专家 Johnathan Kohl 提 出 了 “交互 式 目 动 化 测试 *[Koh107]， 其 测试 开发 的 
目标 不 是 让 目 动 化 测试 取代 手工 测试 ， 而 古 创 建 测试 工具 来 提高 测试 人 员 
的 能 力 ， 从 而 实施 更 有 效 的 测试 。 为 了 更 好 地 表达 思想 ， 他 将 不 同 的 测试 
方式 比喻 为 不 同 的 “交通 工具 ”。 这 征 一 组 生动 且 传神 的 隐喻 ， 很 值得 测试 
人 员 品 味 。 本 市 将 他 的 论述 摘录 如 下 。 


我 喜欢 走 着 上 班 。 我 很 笠 受 风景 、 运 动 以 及 一 边 漫步 一 边 思 考 问题 的 
时 光 。 在 户外 新 鲜 的 空气 中 ， 在 远离 电脑 的 思考 中 ， 我 获得 了 一 些 极 
好 的 想法 。 沿 途 的 观察 激发 了 灵感 ， 将 我 引 向 创造 性 的 解决 方案 。 


但 是 步行 是 缓慢 的 ， 如 果 我 驻足 观赏 可 爱 的 动物 或 享受 日 出 霞光 映 红 
的 山脉 ， 我 很 可 能 会 迟到 。 所 以 ， 在 赶 时 间 的 时 候 ， 我 会 搭乘 公共 交 
通 。 虽 然 公共 汽车 或 列车 仍旧 伴随 着 步行 ， 但 是 我 能 用 快 得 多 的 速度 
及 时 地 到 达 目 的 地 。 我 极 少 区 车 上 班 ， 因 为 这 让 我 无 暇 去 观察 和 思 


考 。 但 是 ， 当 别人 区 车 时 ， 我 能 够 从 旅途 中 获得 很 多 。 例 如 ， 最 近 我 
坐 列车 去 上 班 ， 在 路 上 发 现 了 以 前 从 未 注意 到 的 河谷 峭壁 。 我 曾经 多 
次 经 过 河谷 ， 但 是 直到 坐 上 轻轨 的 那天 ， 在 没有 步行 或 营 车 分 心 的 情 
况 下 ， 我 才能 用 全 新 的 角度 观察 到 新 的 景 


Jonathan Kohl, Man and Machine 


在 Jonathan Kohl 的 论述 中 ， 他 将 不 同 的 测试 活动 比喻 为 不 同 的 交通 方式 ， 
种 方式 都 有 其 优点 与 不 足 。 


。 手 工 测试 是 步行 。 在 漫游 产品 的 过 程 中 ， 测 试 人 员 可 以 观察 到 丰富 的 
细节 ， 能 够 随时 暂停 预定 的 测试 路 线 ， 对 感 兴趣 的 局 部 进行 细致 的 测 
试 。 其 不 足 是 推进 的 速度 较 慢 ， 有 时 不 能 在 短 时 间 内 完成 长 距离 的 旅 
行 《覆盖 更 多 的 测试 目标 ) 。 


自动 化 测试 是 驾车 。 其 优点 是 速度 快 ， 能 在 短 时 间 内 测试 大 量 的 内 
容 ， 其 不 足 是 目 动 化 测试 只 做 规定 的 检查 ， 会 忽视 其 他 所 有 细节 。 即 
便 软 件 出 现 一 望 即 知 的 问题 ， 只 要 测试 代码 没有 做 相应 的 检查 ， 目 动 
化 测试 整 会 放 过 它 。 其 实 ， 目 动 化 测试 更 像 地 铁 ， 可 以 将 大 量 乘客 快 
速 地 送 到 目的 地 ， 但 是 所 有 旅客 都 无 法 观察 到 地 面 的 风景 。 


计算 机 辅助 测试 是 他 人 敬 车 。 目 动 化 测试 或 测试 工具 完成 楷 重 的 工 
作 ， 市 着 测试 人 员 快 速 地 漫游 产品 。 在 测试 过 程 中 ， 测 试 人 员 监 控 产 
品 的 表现 ， 如 采 发 现 问 题 ， 他 可 以 * 下 车 ?调查 。 该 策略 综合 了 手工 测 
试 和 目 动 化 测试 的 优点 ， 利 用 软件 工具 来 提高 测试 效率 、 丰 富 测试 手 
段 ， 让 测试 人 员 能 够 更 好 地 观察 、 思 考 与 行动 。 


在 测试 中 ，Jonathan Kohl 会 使 用 Watr3 ` Watij4 ` JUnit? 等 程序 库 和 框架 来 
开发 测试 程序 。 有 些 测试 程序 完成 测试 准备 工作 ， 让 他 方便 地 实施 手工 测 
试 。 例 如 ， 测 试 Web 应 用 的 某 个 功能 时 ， 测 试 人 员 需 要 登录 账户 ， 并 完成 车 
干 操 作 ， 才 能 进入 目标 测试 页 面 。 对 此 ，Jonathan 会 编写 测试 程序 ， 以 驱动 
Web 浏 览 器 自动 完成 这 些 操作 ， 从 而 将 更 多 的 时 间 留 给 测试 执行 。 另 一 些 程 
序 模拟 用 户 行为 ， 让 他 可 以 发 现 手工 测试 不 能 暴露 的 问题 。 例 如 ， 他 怀疑 
Web 应 用 存在 一 个 多 用 户 并 发 操作 的 缺陷 。 为 了 模拟 出 多 用 户 的 情景 ， 他 编 
写 了 一 个 程序 在 一 台 计 算 机 上 执行 用 户 动作 ， 他 本 人 则 在 另 一 台 计 算 机 上 
执行 手工 测试 。 在 测试 程序 (虚拟 用 户 ) 的 帮助 下 ， 他 发 现 了 稳定 复 现 该 
缺陷 的 方法 。 还 有 些 程序 完成 手工 测试 难以 完成 的 密集 测试 。 例 如 ， 他 编 
写 了 一 个 测试 用 例 ， 向 Web 应 用 的 两 个 字段 提交 超过 5000 个 字符 的 字符 串 。 
该 测试 导致 Web 应 用 抛 出 异常 。 根 据 异 党 信息， 他 又 增加 了 几 个 提交 长 字符 
串 的 测试 用 例 ， 从 而 在 几 分 钟 内 定位 到 缺陷 的 根源 。 


3 用 Ruby 语 言 编写 的 测试 Web 应 用 的 程序 库 ，http:/watircom/。 


4 用 Java 语 言 编写 的 测试 Web 应 用 的 程序 库 ，http:/watij.com/。 


5 著名 的 Java 语 言 单元 测试 框架 ，http://junit.org/ ° 


通过 实践 ，Jonathan Kohl 总 结 了 一 批 计算 机 辅助 测试 的 适用 情景 。 测 试 人 员 
可 以 参考 以 下 测试 想法 ， 控 据 更 多 的 测试 程序 需求 。 


。 用 程序 完成 需要 反复 执行 的 测试 准备 工作 。 
o 安装 指定 版 本 的 产品 。 


。 配 置 测试 环境 ， 如 修改 注册 表 、 配 置 程序 路 径 、 设 置 产品 参数 、 
启动 调试 器 等 。 


o 张 动产 品 ， 令 它 完 成 一 组 操作 ， 为 后 续 的 测试 做 好 准备 。 
。 用 程序 产生 测试 数据 ， 并 让 产品 使 用 它们 。 


o 生成 满足 特定 要 求 的 测试 数据 。 一 个 典型 的 例子 是 利用 PICT 和 测 
试 模 型 生成 组 合 测试 数据 (参见 4.1.1 节 ) ° 


o 从 其 他 数据 源 导 入 一 批 数据 ， 做 必要 的 清理 和 修改 ， 将 它们 作为 
产品 的 测试 数据 。 


o 配置 产品 所 依赖 的 数据 文件 或 数据 库 ， 并 填充 测试 数据 。 
。 用 程序 模拟 用 户 操作 。 
。 目 动 化 重复 操作 、 币 用 操作 、 典 型 工作 流 ， 以 提高 测试 效率 。 


。 在 测试 网 络 应 用 时 ， 用 测试 程序 模拟 用 户 行为 ， 以 构造 出 多 用 户 
使 用 的 情景 。 


+ 用 程序 监控 产品 行为 。 
。 解 析 产 品 的 日 志文 件 ， 报 告 其 中 的 异常 情况 。 
。 分 析 产品 的 计算 结果 ， 报 告 违反 业务 规则 的 案例 。 


。 监 控 产 品 的 运行 状态 和 性 能 指标 ， 报 告 运行 过 程 中 暴露 出 的 问 
题 。 


JonathanKohl 的 实践 表明 手工 测试 和 目 动 化 测试 并 不 是 相互 排 扩 的。 优秀 的 
测试 人 员 会 综合 它们 的 优点 ， 开 发 出 更 具 威 力 的 测试 策略 ， 以 实现 单独 的 
手工 测试 或 目 动 化 测试 不 能 达到 的 效果 。 


6.3.2 ”选择 合适 的 开发 技术 


随 着 开发 技术 的 快速 发 展 ， 测 斌 人员 可 以 选择 的 语言 、 程 序 库 、 框 架 、 工 
具 越 来 越 多 。 他 应 该 抱 着 开放 的 心态 ， 学 习 并 笑 试 多 种 的 技术 ， 了 人 解 它们 
的 能 力 、 优 势 和 局 限 。 他 所 掌握 的 技术 越 多 ， 束 越 可 能 针对 当前 任务 做 出 
合理 的 设计 。 而且， 测试 任务 是 多 种 多 样 的 ， 单 一 的 技术 并 不 适用 于 所 有 
情况 ， 这 也 要 求 测试 人 员 有 灵活 运用 多 种 技术 来 实施 高 效 的 测试 。 


本 蔬 将 通过 一 组 简化 的 案例 来 展示 利 见 的 技术 和 方法 。 讨 论 的 重点 不 在 技 
PRACT EDA RAY RE ATER 
案例 1: 用 AutoHotKey 上 自动 化 重复 的 输入 


AutoHotKey® 是 一 个 开源 的 鼠标 与 键盘 宏 工 具 。 它 提供 了 一 个 简单 的 脚本 语 
让 用 户 编写 脚本 来 定义 快捷 键 和 对 应 的 宏 命 令 。 在 加 载 7 用 户 脚本 之 
它 在 后 台 监 昕 用户 的 键 表 输入。 一旦 用 户 输入 预先 定义 的 的 快捷 键 ， 

它 束 会 执行 宏 命 令 ， 以 目 动 完成 一 系列 操作 。 


hat 


6 http://www.autohotkey.com/ ° 


在 手工 测试 中 ， 测 试 人 员 有 时 得 重复 执行 一 组 机 械 操作 。 为 了 提高 测试 效 
率 ， 他 可 以 编写 AutoHotKey 脚 本 来 目 动 化 此 类 重复 操作 。 


例如 ， 测 试 人 员 测 试 PowerPoint 的 图 片 寻 出 功能 ， 测 试 任务 需要 检查 导出 的 
PNG 图 片 。 他 的 测试 策略 是 制作 多 种 不 同类 型 的 幻灯 厂 页 面 ， 然 后 输出 为 
PNG 图 片 ， 并 审阅 输出 结 采 。 为 了 将 文档 导出 为 PNG 图 片 ， 他 可 以 点 

击 “File Export Change File Type PNG Portable Network Graphics (.*png) Save 
As”( 详 见 图 6-7) ， 以 启动 “另存 为 "对话 框 ， 然 后 输入 目标 路 径 和 文件 名 。 
他 发 现 这 是 一 组 会 反复 执行 的 机 械 操作 ， 于 是 编写 了 代码 清单 6-5 所 示 的 
AutoHotKey 脚 本 。 该 脚本 的 作用 是 ， 当 测试 人 员 按 下 Ctrl+F12， 
AutoHotKey 就 会 发 送 键盘 消息 ， 驱 动 PowerPoint 弹 出 “另存 为 "对话 框 ， 并 将 
保存 路 径 设 为 指定 值 。 之 后 ， 测 试 人 员 只 要 输入 文件 名 ， 殉 可 以 完成 图 片 


导出 操作 。 


演示 文稿 1 - PowerPoint ? 一 


Liang Shi ~ ee 


P 


总 创建 PDF/XPS 文档 ár PowerPoint 97.20 隐 wm (*.ppt) 
3 使 用 PowerPoint 97-2003 演示 文稿 格式 


[创建 视频 
Sa 


OpenDocument mom (*.odp) 
使 用 OpenDocument 演示 文稿 格式 
将 演示 文稿 打包 成 CD T 

Eo 模板 (*.potx) E 
新 演示 文稿 的 起 点 
GY 创建 讲义 

= [ PowerPoint BXBX(*.ppsx) 
自动 以 幻灯 片 放 揣 形式 打开 
已 更 改 文件 类 型 区 

| PowerPoint 图 片 演示 (*.pptx) 


CE) 每 张 幻灯 片 均 为 图 片 的 演示 文稿 


图 片 文件 类 型 
z | PNG 可 移植 网 络 图 形 们 式 (*.png) 


”每 张 幻灯 片 的 打印 质量 图 像 文 件 


m= JPEG 文件 交换 格式 A, 
~ 每 张 幻灯 片 的 Web 质量 图 像 文件 


其 他 文件 类 型 
[o Bemis a 
rá 


Y 


图 6-7 PowerPoint 的 导出 功能 
代码 清单 6-5 ”执行 导出 图 片 操作 的 AutoHotKey 脚 本 


AF12:: ; 快捷 键 是 Ctrl+F12 

Send !F ; 发 送 "Alt+F" 以 选择 "File" 

Send E ; 选择 "Export" 

Send C ; 选择 "Change File Type" 

Send F ; 选择 "PNG Portable Network Graphics (*.png)" 
Send A ; 选择 "Save As" 

Winwait, Save As ; 等 待 "Save As" 对 话 框 出 现 

Send C:\temp\ ; 发 送 目 标 路 径 

Send {Enter} ; 发 送 " 回 车 "， 令 对 话 框 的 当前 路 径 转移 到 目标 路 径 (C:\temp) 


return ; 结 


| 


对 于 了 解 AutoHotKey 的 测 斌 人员， 编写 代码 清单 6-5 只 要 论 费 儿 分 钟 的 时 
间 ， 其 成 果 是 用 快捷 键 取代 了 一 组 键盘 操作 。 这 看 似 是 微不足道 的 进步 ， 
但 这 有 利于 测试 人 员 摆 脱 枯燥 的 重复 动作 ， 将 精力 集中 在 高 智力 挑战 的 任 
务 上 。 实 际 上 ， 测 斌 过程 缉 含 许多 通过 目 动 化 来 提高 操作 效率 的 情景 。 如 
果 测 试 人 员 积 极地 识别 目 动 化 机 会 ， 并 合理 利用 ， 他 可 以 积累 一 系列 小 的 
自动 化 成 果 来 显著 提高 测试 效率 。 
AutoHotKey 并 不 是 完成 此 类 任务 的 唯一 工具 ”， 测 试 人 员 需 要 根据 产品 类 型 
和 当前 任务 选择 合适 的 工具 。 例 如 ，JonathanKohl 对 于 Web 应 用 选择 了 Watri 
和 Watij 来 控制 浏览 器 和 页 面 。 使 用 恰当 的 工具 ， 测 试 人 员 只 需 编写 很 短小 
的 代码 就 可 以 达成 日 标 。 使 用 不 恰当 的 工具 ， 测 试 人 员 会 耗费 大 量 时 间 于 
测试 代码 的 编写 和 调试 ， 以 至 于 压缩 了 测试 产品 的 时 间 。 


“对 于 PowerPoint 而 言 ， 实 现 快速 图 片 导出 的 另 一 种 方法 是 执行 VBA 语 句 : 


Application.Presentations.Item(1).SaveAs "c:\temp\test", ppSaveAsPNG, 
msoFalse 


案例 2: 用 DOS 脚 本 目 动 化 测试 环境 配置 
案例 1 十 一 个 用 计算 机 加 速 测试 执行 的 例子 ， 本 案例 是 利用 脚本 来 进行 测试 
准备 。 我 经 常 创建 虚拟 机 来 执行 测试 。 在 获得 一 个 新 的 虚拟 机 之 后 ， 我 会 
用 管理 员 权限 运行 代码 清单 6-6 所 示 的 DOS 脚 本?。 

8 代码 清单 6-6 是 一 个 简化 的 脚本 ， 真 实 的 脚本 要 更 复杂 


代码 清单 6-6 ”配置 测试 环境 的 DOS 脚 本 


IIE 


REM 1) setup variables ---------------------------------------------- 
set src=\\myserver\setup 

set tgt=c: 

set tools=%tgt%\tools 


REM 2) setup debuggers ---------------------------------------------- 
xcopy %src%\debuggers %tgt%\debuggers\ /Y /E /H 


md c:\symbols 
%tgt%\debuggers\windbg.exe -IS 


REM 3) setup kernel debugging --------------------------------------- 


bcdedit /debug on 
bcdedit /dbgsettings serial debugport:1 baudrate:115200 


REM 4) copy tools --------------------------------------------------- 
xcopy %src%\tools %tools%\ /Y /E /H 


REM 5) config machine ----------------------------------------------- 
reg.exe import %tools%\reg\powershell_config.reg 

reg.exe import %tools%\reg\windbg_config.reg 

reg.exe import %tools%\reg\console_config.reg 


setx PATH "%PATH%;%tgt%\debuggers;%tools%" 


REM 6) map network driver ------------------------------------------- 
net use z: \\myserver\share 


REM 7) setup fiddler2 ----------------------------------------------- 
start %tools%\install\Fiddler4BetaSetup.exe 
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作 系 统 的 设置 。 各 步 又 的 概要 解释 如 下 。 


1. 建立 变量 ， 设 定 文 件 要 从 何 处 获取 、 要 复制 到 本 机 的 哪个 目录 。 
2. 复制 Windbg 到 本 机 ， 并 将 它 设 定 为 事后 调试 郁 。 

3. 开局 本 机 的 内 核 调试 。 

4. 复制 一 组 文件 和 工具 到 本 机 。 


5. 导入 注册 表 文 件 来 修改 计算 机 配置 。 将 Windbg 的 目录 和 工具 目录 加 入 到 
环境 变量 PATH 。 


6. 将 共享 的 网 络 路 径 映 射 为 本 机 的 Z 盘 。 
7. 安装 HTTP 调 试 代 理 Fiddler2 ° 
案例 2 说 明 利 用 操作 系统 的 Shell 和 内 建 命令 ， 测试 人 员 可 以 快速 地 配置 操作 


系统 和 软件 工具 ， 获 得 准备 就 绪 的 测试 环境 。 在 许多 情景 中 ， 测 试 人 员 执 
行 的 任务 与 系统 管理 员 很 类 似 ， 都 需要 配置 软 硬 件 参数 、 安 装 软件 和 维护 


环境 。 学 习 一 些 系统 管理 员 使 用 的 脚本 和 工具 ， 能 够 帮助 测试 人 员 更 高 效 
地 完成 测试 准备 。 


案例 3;， 用 PowerShell 和 Excel 分 析 产 品 性 能 
测试 过 程 会 产生 许多 信息 ， 有 些 信息 需要 在 测试 执行 之 后 做 进一步 的 分 
析 。 例 如 ， 测 试 人 员 需 要 4 > eat (FetchData ` ExtractData ` 


ComputeData) 的 J 性 能 ee 他 用 测试 代码 将 这 些 操作 的 用 时 写 入 测试 日 
志 ， 具 体 实现 请 参考 代码 清 。 单 6-7 。 


代码 清单 6-7 ”将 操作 的 用 时 写 入 日 志文 件 


// 测试 辅助 类 : 利用 C# 的 Dispose 记 录 操 作 的 开始 、 结 束 和 用 时 


public class TimeLogger : IDisposable 


DateTime statTime; 
string action; 


public TimeLogger(string action) 


// 记录 操作 开始 

TestLog.Log("BeginAction\t{0}", actionMessage); 
this.statTime = System.DateTime.Now; 
this.actionMessage = action; 


} 


public void Dispose() 


// 记录 操作 结束 
// 记录 格式 : "EndAction<Tab>[ 操 作 名 ]<Tab>[ 用 时 ] seconds" 
TestLog.Log("EndAction\t{0}\t{1} seconds", 

this.action, 

(System.DateTime.Now - this.statTime).TotalSeconds); 


// 记录 操作 FetchData 的 用 时 
using (var logger = new TimeLogger("FetchData") ) 


// FetchData 的 具体 操作 
} 


// 记录 操作 ExtractData 的 用 时 
using (var logger = new TimeLogger("ExtractData") ) 


// ExtractData 的 具体 操作 


// 记录 操作 ComputeData 的 用 时 
using (var logger = new TimeLogger("ComputeData") ) 


// ComputeData 的 具体 操作 


在 测试 执行 之 后 ， 测 试 人 员 使 用 代码 清单 6-8 的 PowerShell 脚 本 来 搜索 日 志 
目录 下 的 日 志文 件 ， 然 后 用 正则 表达 式 “EndAction\t(_._?)\t(_._?)\sseconds” 来 
匹配 记录 操作 用 时 的 文本 行 。 如 果 匹 配 成 功 ， 脚 本 提取 操作 名 和 用 时 ， 将 
它们 输出 到 perf.txt。 图 6-8 展 示 了 该 脚本 的 输出 结 采 。 


© perftxt - Notepad2 - o ES 
File Edit View Settings ? 
D@al\aaa@|x|o | 
1 FetchData —>2.4678642 A 
FetchData —+0.1249552 
ExtractData>78.8472253 
FetchData —>0.0468591 
ExtractData>24.8664255 
FetchData —+1.999296 
ExtractData>41.6576578 
ExtractData>22.0865087 
ComputeData>55.4031231 
10 ComputeData>3.139579 
11 8 6ComputeData>4.46723542 
12 ComputeData>2.14003574 y 


worn 请 wm ID 


图 6-8 分 析 测 试 日 志 所 获得 的 操作 和 用 时 
代码 清单 6-8 ”用 正则 表达 式 分 析 测 试 日志， 获得 操作 的 用 时 


Get-ChildItem -Filter *.log -Recurse | 

Select-String "EndAction\t(.*?)\t(.*?)\sseconds" | 

Select -ExpandProperty Matches | 

foreach { '{0} t{1}' -f $_.Groups[1].Value, $_.Groups[2].Value } > 
perf.txt 


| 


然后 ， 测 试 人 员 用 Excel 导 入 perf.txt， 获 得 如 图 6-9 所 示 的 数据 表 。 基 于 该 数 
据 表 ， 测 试 人 员 生 成 如 图 6-10 所 示 的 透视 图 ， 以 分 析 各 个 操作 的 平均 用 时 。 
通过 该 图 ， 测试 人 员 可 以 直观 地 了 人 解 到 FetchData 的 速度 最 快 (平均 用 时 为 
0.45 秒 ) 、ExtractData 的 速度 最 慢 (平均 用 时 20.45 秒 ) 、ComputerData 的 速 
度 接 近 ExtractData (平均 用 时 为 16.15 秒 ) 。 


Action Mi time | 
FetchData 2.4678642 
FetchData 0.1249552 | 
‘ExtractData 78.8472253 
FetchData 0.0468591 | 
ExtractData 24.8664255 _ 
‘FetchData 1.999296 | 
ExtractData 41.6576578 
ExtractData 22.0865087 | 
ComputeData 55.4031231 _ 
‘ComputeData 3.139579 | 
‘ComputeData 4.4672342 
ComputeData 2.1400374 


图 6-9 包含 操作 和 用 时 的 Excel 数 据 表 (局 部 ) 
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图 6-10 反映 操作 平均 用 时 的 透视 图 


为 了 进一步 了 解 情况 ， 他 又 在 透视 图 中 加 入 各 个 操作 的 最 长 用 时 ， 获 得 如 
图 6-11 所 示 的 结果 。 这 时 ， 他 惊讶 地 发 现 ExtractData 的 最 长 用 时 达到 432.32 
秒 ， 是 平均 用 时 的 20 多 倍 。 于 是 ， 他 生成 ExtractData 各 次 用 时 的 散 点 图 (如 
图 6-12 所 示 ) 。 由 该 图 可 知 ， 测 试 过 程 执行 ExtractData 达 4000 多 次 ， 该 操作 
的 用 时 大 多 小 于 50 秒 ， 只 有 一 次 超 乎 寻常 地 达到 432.32 秒 。 该 图 不 但 很 好 地 
反映 了 ExtractData 的 用 时 情况 ， 还 建议 测试 人 员 应 该 调查 那 次 超 长 的 用 时 ， 
发 掘 它 背后 隐藏 的 问题 。 
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图 6-11 操作 的 平均 用 时 和 最 长 用 时 


图 6-12 ”ExtractData 用 时 的 散 点 图 
回顾 以 上 测试 开发 与 分 析 过 程 ， 不 难 获 得 以 下 经 验 。 


。 如 果 测 试 代码 用 清晰 的 格式 记录 测试 执行 的 信息 ， 测 试 日 志 将 为 成 为 
后 续 分 析 的 重要 数据 源 。 


E o aa 


。 电子 表格 软件 是 方便 的 数据 可 视 化 工具 。 利 用 它 ， 测 试 人 员 无 需 编写 
代码 ， 束 可 以 生成 多 种 类 型 的 图 表 。 

。 电子 表格 软件 也 是 探索 数据 、 控 气 知 识 的 工具 。 测 试 人 员 根 据 已 有 的 
图 表 来 提出 疑问 ， 然 后 设计 出 新 的 图 表 来 提供 答案 。 这 让 测试 人 员 从 
多 个 角度 考察 数据 ， 从 而 建立 对 产品 特性 的 完整 理解 。 


。 w 试 开 发 可 以 借助 多 个 工具 ， 通 过 组 合 它 们 的 长 处 来 快速 完成 测试 任 


Fi 


案例 4: 用 IronPython 分 析 系 统 负载 


我 曾经 测试 过 一 个 作业 处 理 系统 ， 它 的 任务 是 计算 用 户 每 天 提交 的 作业 。 
为 了 避免 当天 的 作业 积压 到 第 二 天 ， 项 目 团 队 利用 计算 机 集群 搭建 了 6 条 作 
业 流 水 线 ， 使 该 系统 能 够 同时 处 理 6 个 作业 。 为 了 分 析 产 品 环境 和 测试 环境 
中 系统 的 性 能 ， 我 用 IronPython? 编写 了 一 个 脚本 perf.py 来 绘制 系统 对 流水 
线 的 利用 率 。 该 脚本 的 运行 步 又 与 案例 3 的 数据 处 理 流程 很 相似 。 


| 9 IronPython 是 Python 语 言 在 .NET 平 台 上 的 实现 ， 主 页 : http://ironpython.codeplex.com ° 


1. 提取 数据 ，perf.py 从 系统 日 志 中 分 析出 每 个 作业 的 类 型 、 开 始 时 间 和 结 
束 时 间 。 该 日 志 可 能 来 目 产 品 环境 ， 也 可 能 来 目 性 能 测试 环境 。 


2. 处 理 数据 : perf.py 的 目标 是 在 一 个 窗口 中 绘制 出 作业 的 运行 情况 。 为 
此 ， 它 将 窗口 视 为 一 个 画布 ， 将 6 条 流水 线 视 为 画布 上 等 高 的 6 行 ， 将 一 个 
作业 视 为 某 行 中 的 一 个 矩形 。 它 根据 作业 开始 时 间 和 结束 时 间 ， 计 算出 对 
应 矩形 的 长 度 、 宽 度 和 左上 和 角 的 坐标 。 


3. 可 视 化 数据 : perf.py 根 据 矩 形 的 长 度 、 宽 度 和 左上 角 的 左边 ， 在 窗口 中 
绘制 出 所 有 和 窍 形 ”。 图 6-13 展 示 了 最 终 的 绘制 结果 。 图 的 横 轴 对 应 着 时 间 ， 
纵 轴 对 应 着 流 水 线 ， 每 一 个 矩形 对 应 一 个 作业 ， 移 形 越 宽 说 明 作 业 处 理 时 
间 越 长 ， 相 同 颜色 的 作业 属于 同一 种 作业 类 型 。 


10 该 脚本 调用 的 绘图 API 是 WPF (Windows Presentation Foundation)， 主 页 : 
http://msdn.microsoft.com/en-us/library/ms754130.aspx ° 


| | | 


图 6-13 ”用 图 形 来 展示 系统 的 负载 


根据 图 6-13， 我 可 以 直观 地 分 析 数 据 ， 了 解 在 所 分 析 的 时 段 内 ， 系 统 完成 了 
哪些 作业 ， 何 种 作业 用 时 最 长 ， 何 种 作业 目 数目 最 多 ， 哪 些 作业 在 并 发 执 
行 ， 哪 些 作业 在 串 行 执 行 ， 哪 些 时 段 系 统 烷 忙 ， 哪 些 时 段 系 统 空 则 。 基 于 
这 些 信息 ， 我 可 以 理解 产品 环境 的 作业 运行 特点 ， 设 计 更 真实 的 性 能 测试 
方案 ， 还 可 以 分 析出 系统 的 性 能 瓶颈 ， 发 现 值得 性 能 优化 的 作业 类 型 。 此 
外 ，perf.py 还 可 以 分 析 性 能 测试 环境 ， 帮 助 我 发 现 性 能 测试 的 不 足 ， 进 而 改 
进 测试 方案 ， 以 提供 更 接近 产品 环境 的 工作 负载 。 


在 .NET 程 序 库 和 我 日 党 积累 的 程序 库 帮 助 下 ，perf.py 仅 用 300 余 行 束 完 成 了 
提取 数据 、 人 处理 数 据 、 可 视 化 数据 的 任务 。 代 码 清单 6-9 摘 录 了 脚本 的 核心 
逻辑 。 由 这 段 代 码 ， 不 难看 出 IronPython 的 一 些 优点 。 


。 Python 语言 简洁 清晰 ， 表 达 力 强 ， 能 用 比 主流 静态 语言 (如 Java ` CH 
等 ) 更 短 的 程序 完成 计算 任务 。 


。 IronPython 可 以 直接 调用 包括 WPEF 在 内 的 .NET 程 序 库 ， 这 降低 了 数据 可 
视 化 的 工作 量 。 此 外 ，IronPython 还 可 以 调用 CPython 程 序 库 ， 并 通 
人 COM 对 象 和 Win32 API。 这 些 都 显著 提高 了 开 

R “Ao 


代码 清单 6-9 ”计算 矩形 位 置 和 绘制 矩形 的 核心 代码 


# 计算 矩形 位 置 的 类 


class ArrangeRectangle: 
: 


# 将 矩形 〈 作 业 ) 放 入 恰当 的 行 (流水线) 
def compute_position(self): 
rows = [[] for i in range(pipeline_count) ] 
for r in self.rectangles: 
index = self.get_row_index(rows, r) 
rows [index] .append(r) 
r.top = index * (self.row_heigth + row_gap) 


# 寻找 可 以 容纳 矩形 的 行 
def get_row_index(self, rows, rectangle): 
for index, row in enumerate(rows): 
if self.has_space(row, rectangle): 
return index 
rows.append([]) 
return len(rows) - 1 


# 判断 行 row 能 否 容纳 矩形 rectangle 
def has_space(self, row, rectangle): 
for r in row: 
if (self.is_conflict(r, rectangle) 
or self.is_conflict(rectangle, r)): 


return False 
return True 


# 判断 两 个 矩形 (rx 和 ry) 的 位 置 是 否 冲 突 
def is_conflict(self, rx, ry): 
if ry.start <= rx.start < ry.end: 
return True 
elif ry.start <= rx.start and rx.end <= ry.end: 
return True 
else: 
return False 


# 绘制 矩形 的 类 
class DrawRectangle: 
Hee a Gis 


# 绘制 所 有 的 矩形 ， 并 将 它们 加 入 画布 
def add_rectangleangles(self, rectangles): 
c = self.canvas 
for r in rectangles: 
wr = self.build_wpf_rectangle(r) 
self.add(wr, r.left, r.top) 


# 绘制 一 个 矩形 
def build_wpf_rectangle(self, rectangle): 

wr = wpf.Rectangle() 

wr.Width = rectangle.width 

wr.Height = rectangle.height 

wr.Fill = self.get_color(rectangle.type) 


tt = wof.ToolTip() 
tt.Content = rectangle.text 
wr.ToolTip = tt 

return wr 


动态 语言 的 男 一 个 优势 是 部 署 和 修改 方便 。 因 为 我 所 使 用 的 测试 计算 机 都 
安装 了 .NETFramework， 所 以 我 只 需要 复制 IronPython 解 释 器 (大 约 4MB) 


和 几 个 脚本 文件 就 完成 了 应 用 部 署 。 这 方便 我 在 不 同 的 环境 ( 预 发 布 环 
境 、 集 成 测试 环境 、 人 性 能 测试 环境 、 功 能 测 弃 环 境 等 ) 下 运行 脚本 ， 获 得 
系统 的 性 能 信息 。 在 数据 分 析 过 程 中 ， 我 可 能 会 产生 一 些 新 的 数据 可 视 化 
想法 。 这 时 ， 我 可 以 用 文本 编辑 右 修 改 脚本 ， 然 后 运行 脚本 来 获得 直观 的 
反馈， 从 而 激发 出 更 多 的 数据 分 析 思 路 。 因 为 许多 测试 环境 不 包含 大 型 的 
开发 工具 ， 所 以 它们 不 支持 主流 静态 语言 的 快速 开发 。 动 态 语 言 无 需 编 


译 、 立 即 可 用 的 特点 让 我 可 以 灵活 快速 地 修改 脚本 ， 以 满足 随时 浮现 的 测 


试 需求 。 


由 本 节 的 讨论 可 知 ， 测 试 任务 中 存在 许多 运用 程序 来 提高 工作 效率 的 机 
会 测试 人 员 震 要 抓 人 这 些 机 会 ， 经 合 运用 多 种 开发 技 术 来 构建 不 同 美 型 
9 测试 工具 。 


6.4 ”大 规模 自动 化 测试 


大 规模 自动 化 测试 (high volume automated testing, HiVAT) 是 一 种 测试 策 
略 ， 通 过 自动 地 执行 海量 的 测试 用 例 ， 来 强力 检测 产品 缺陷 [Kaner13]。 随 
着 人 硬件 性 能 的 提高 和 集群 计算 技术 的 发 展 ，HiVAT 已 成 为 一 种 威力 巨大 的 目 
动 化 测试 策略 。 本 市 讨论 它 的 基本 概念 和 设计 因素 。 


6.4.1 基本 概念 


许多 第 见 测试 拉 术 的 出 发 入 是 获得 数量 较 少 、 有 代表 性 的 测试 用 例 ， 通 过 
少量 的 典型 采样 来 评 信 整个 测试 空间 。 例 如 等 价 类 划分 将 测试 输入 划分 为 
各 二 个 等 价 类 ， 从 中 选择 测试 用 例 。 又 例如 组 合 测试 根据 测试 模型 ， 生 成 
符合 组 合 黎 凋 标 准 的 最 小 测试 用 例 集 。 


HiVAT 的 战术 恰恰 与 这 些 技术 相反 。 它 所 运行 的 每 一 个 测试 都 是 平凡 的 ， 但 
古 海 量 的 测试 用 例 密集 地 覆盖 了 测试 空间 ， 能 够 发 现 精 心 构造 的 小 规模 测 
试用 例 集 所 错过 的 缺陷 。 图 6-14 对 比 了 这 两 种 测试 策略 ， 其 中 每 一 个 点 都 钙 
一 个 测试 用 例 ， 包 含 点 的 方形 区 域 是 测试 空间 。 左 侧 的 测试 技术 生成 少数 
的 测试 用 例 ， 对 测试 至 间 的 采样 较 稀 蕊 ; 右 侧 的 测试 技术 则 产生 大 量 的 测 
试用 例 ， 对 测试 空间 的 采样 较 密 集 。 


基于 大 规模 采样 的 测试 技术 (HiVAT) 

图 6-14 基于 不 同 采样 策略 的 测试 技术 

HiVAT 和 常用 于 测试 复 灯 的 功能 、 流 程 或 产品 。 此 时 ， 小 规模 的 测试 用 例 集 不 
能 提供 足够 的 测试 信心 。 测 试 人 员 需 要 借助 计算 机 的 能 力 来 运行 大 规模 的 
测试 ， 以 发 现 隐 项 的 错误 。 以 下 是 一 些 HiVAT 的 典型 案例 。 


。 5.3.3 节 介绍 了 Harry Robinson 测 试 地 图 导航 的 方法 。 测 试 程序 利用 美 
国 所 有 邮政 编码 的 两 两 组 合作 为 测试 输入 (大 约 十 亿 条 测试 用 例 ) ， 


用 一 组 约束 规则 来 检查 所 获得 的 导航 路 线 集 。 如 果 规 则 检查 发 现 了 失 
败 的 案例 ， 测 试 程序 会 将 该 案例 报告 给 Harry， 请 他 做 进一步 的 分 析 。 


Mozilla 项 目 小 组 需要 检查 Firefox 在 加 载 页 面 时 是 否 出 现 内 存 泄漏 、 断 
言 触 发 和 程序 前 省 等 问题 。 他 们 的 测试 策略 是 从 alexa.com 获 得 最 流行 
的 一 百 万 个 URL， 用 它们 来 检测 Firefox 的 健壮 性 [Johnson10]。 在 测试 
环境 中 ， 测 试 程序 启动 指定 版 本 的 Firefox， 令 它 打开 一 个 URL， 人 然后 
加 载 Firefox 的 一 个 测 斌 插件， 该 搬 件 会 瑶 历 页 面 上 的 链 授 ， 并 执行 一 
组 检查 。 A TURT ` W EATR EER, MWETA E 
细 记 录 所 发 现 的 问题 ， 并 保存 导致 问题 的 页 面 。 测 试 一 百 万 个 UREL 需 
要 一 个 月 左右 的 时 间 。 为 了 加 ati 贵 的 速度 ，Mozilla 小 组 还 构建 
了 一 个 包含 一 千 条 URL 的 测试 集合 ， 用 于 每 日 测试 。 


模糊 测试 是 一 种 修改 输入 数据 来 暴露 软件 缺陷 的 方法 。 如 果 某 款 产品 
需要 读 取 复杂 的 文档 ， 测 试 小 组 可 以 使 用 文件 模糊 器 ， 对 原始 文档 进 
行 随机 修改 ， 生 成 大 量 的 模糊 文档 。 然 后 ， OLIN EZR & 局 动产 品 ， 

令 它 读 取 这 批 被 自 改 的 文档 ， 并 严密 监控 可 能 的 异常 情况 。 在 测试 结 
Ra, WRA RI 分 析 测试 日 志 中 记录 的 错误 ， PURRIA o 模糊 
测试 是 一 种 暴力 测试 方法 ， 一 轮 模 糊 测 试 会 使 用 数 万 个 甚至 更 多 的 模 
糊 文 件 。 如 果 运 用 得 当 ， 模 糊 测 试 可 以 发 现 许 多 手工 测试 或 简 单 的 自 
动 化 测试 无 法 发 现 的 问题 ， 这 对 于 提高 软件 的 安全 性 极 具 价值 。 例 如 
Microsoft Office 团 队 在 开发 Office 2013 时 ， 通 过 模糊 测试 发 现 并 修改 了 
2100 多 个 缺陷 [Gallagher12] ° 


猴子 测试 是 利用 猴子 程序 来 随机 地 测试 产品 。 猴 子 程序 是 一 个 不 知 疲 
倦 的 测试 程序 ， 它 随机 地 从 动作 列表 中 选择 一 并 
监视 产品 的 状态 和 行为 ， 记 录 所 发 现 的 问题 。 猴 子 程序 会 连续 运行 整 
晚 或 几 天 ， 如 有 果 产 品 盘 溃 或 停 清 ， Ce Ems 对 于 简 
单 的 猴子 程序 ， 动 作 列 表 是 一 组 键盘 、 鼠 标 、 触 控 命 令 ， 它 会 纯粹 地 
随机 选择 命令 ， 而 不 考虑 产品 当前 的 状态 。 这 类 猴子 实现 简单 ， 可 以 
快速 投入 测试 ,但 是 只 能 发 现 程序 崩溃 、 程 序 停 注 、 资 源 泄 漏 等 常见 
错误 。 对 于 智能 的 猴子 程序 ， 其 动作 列表 是 一 组 业务 操作 (有 了 时 是 简 
单 的 功能 测试 ) ， 它 会 根据 产品 的 状态 来 选择 业务 操作 ， 并 检查 操作 
结束 后 软件 的 状态 是 否 正确 。 智 能 的 猴子 拥有 一 些 产品 的 知识 ， 所 以 
筷 的 命令 和 检查 更 有 针对 性 ， 不 但 能 够 发 现 常 见 错 误 ， 还 可 以 挖掘 出 
产品 特有 的 缺陷 。 


HiVAT 拥 有 悠久 的 历史 ，Cem Kaner 在 1980 年 就 发 现 了 一 些 测试 团队 运行 大 
量 测试 用 例 来 探测 复杂 软件 的 深层 TRE ° 近年 来 ， 随 着 软 硬 件 技术 的 发 
展 ，HiVAI 的 有 效 性 和 重要 性 与 日 俱 增 。 第 一 ， 软 件 产品 越 来 越 复 杂 ， 人 少量 


的 测试 用 例 不 能 提供 足够 的 测试 覆盖 ， 测 试 人 员 需 要 更 好 的 办 法 来 覆盖 产 
品 的 代码 和 状态 。 第 二 ， 计 算 机 硬件 的 价格 在 持续 下 降 ， 性 能 在 稳步 提 
升 ， 这 为 运行 大 批量 的 测试 用 例 提 供 了 硬件 基础 。 第 三 ， 虚 拟 化 技术 让 一 
台 物 理 计 算 机 运行 多 台 虚 拟 计算 机 ， 这 使 得 项 目 团 队 能 够 更 充分 地 利用 空 
闲 计算 资源 。 第 四 ， 云 计算 技术 让 测试 人 员 可 以 用 多 台 (虚拟 ) 计算 机 同 
时 运行 海量 的 测试 用 例 ， 并 汇总 测试 结果 ， 这 极 大 地 提高 了 测试 运行 的 速 
度 。 例 如 ，Harry Robinson 在 测试 地 图 导航 时 运行 了 上 亿 条 测试 ， 这 在 以 往 
的 测试 环境 中 是 不 可 想象 的 。 但 是 ， 利 用 云 计 算 技 术 ， 他 可 以 使 用 上 千 台 
计算 机 同时 执行 测试 ， 能 够 在 几 天 内 完成 数量 如 此 庞大 的 测试 。 


可 见 ， 新 的 测试 挑战 和 测试 平台 要 求 测试 人 员 重 新 思考 自动 化 测试 的 使 
命 ， 用 创新 思维 去 充分 利用 计算 资源 ， 以 提出 更 具 威 力 的 测试 策略 。 测 试 
人 员 需 要 思考 : 如 果 我 拥有 10 台 计算 机 来 运行 测试 用 例 ， 我 应 该 设计 何 种 
自动 化 测试 ? 如 果 有 100 台 计算 机 ， 又 怎么 设计 ? 如 果 有 1000 台 计算 机 ， 又 
如 何 设 计 ? 这 些 问题 看 似 有 些 遥 远 ， 其 实 是 很 多 测试 人 员 需 要 考虑 的 真实 
情况 。 目 前 ， 许 多 测试 小 组 拥有 测试 实验 室 ， 一 般配 有 几 十 台 计 算 机 ， 某 
些 项 目的 测试 环境 甚至 拥有 上 千 台 计算 机 。 在 很 多 时 候 ， 这 些 计算 机 并 没 
有 满 负 俩 运转 ， 许 多 计算 资源 都 被 闲置 。 测 试 人 员 应 该 考虑 如 何 充 分 利用 
这 些 空间 资源 ， 从 而 大 幅度 提高 测试 的 广度 和 深度 。 


6.4.2 ”测试 设计 

HiVAT 有 多 种 实施 方式 ， 也 存在 大 量 创 新 空间 ， 然 而 其 基本 流程 具备 一 定 的 
模式 。 图 6-15 是 利用 多 台 计 算 机 进行 HiVAT 的 典型 工作 方式 ， 其 流程 是 将 测 
试 任务 分 发 给 多 台 计 算 机 ， 然 后 汇总 来 自 所 有 计算 机 的 测试 结果 。 以 下 是 
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U 对 于 在 一 台 计 算 机 上 进行 的 HiVAT， 步 又 (2) 和 步骤 (4) 可 以 省 略 。 

1. 测试 人 员 使 用 工具 生成 大 量 的 测试 用 例 。 


2. 根据 可 用 计算 机 的 数量 ， 测 试 控制 服务 如 把 测试 用 例 划 分 为 奉 干 组 ， 将 
它们 分 配给 测试 执行 计算 机 。 


3. 在 测试 执行 计算 机 上 ， 测 试 程序 运行 测试 用 例 ， 并 记录 测试 日 志 。 
4. 测试 控制 服务 器 汇总 来 目 各 台 计 算 机 的 测试 结 采 ， 将 它们 保存 到 测试 结 
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5. 测试 人 员 调 查 测 试 所 发 现 的 问题 ， 并 提交 缺陷 报告 。 


oe 


测试 控制 


服务 器 


测试 用 例 1 测试 结果 
测试 用 例 2 仓库 
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图 6-15 用 多 台 计 算 机 执行 HiVAT 的 一 种 架构 


因为 HiVAT 会 运行 海量 的 测试 用 例 ， 测 试 过 程 会 面临 一 些 特殊 的 挑战 ， 测 试 
人 员 需 要 根据 产品 的 特征 和 所 依赖 的 上 自动 化 技术 做 出 恰当 的 设计 。 本 节 针 
对 HiVAT 的 特点 ， 讨 论 其 设计 与 实现 过 程 中 需要 重点 考虑 的 问题 。 


问题 1， 如 何 生成 大 量 的 测试 输入 数据 


HiVAI 的 威力 来 目 于 执行 海量 的 测试 用 例 ， 测 试 输入 数据 的 差异 性 和 代表 性 
将 极 大 地 影响 测试 效果 。 优 质 的 测试 输入 使 投入 的 计算 资源 获得 充分 的 回 
报 ， 不 良 的 测试 输入 则 浪费 了 庞大 的 计算 资源 和 漫长 的 测试 时 间 。 以 下 是 
一 些 构建 测试 输入 数据 的 常见 方法 。 


。 穷 举 输 入 域 的 所 有 取 值 。 例 如 ，Harry Robinson 穷 举 了 美国 邮政 编码 的 
两 两 组 合 ， 获 得 地 图 导航 的 测试 输入 数据 。 又 例如 ， 测 试 人 员 在 测试 
拥有 多 个 输入 变量 的 模块 时 ， 不 使 用 两 因素 测试 用 例 集 ， 而 使 用 全 组 
合 测试 用 例 集 。 


。 尽 可 能 多 地 收集 真实 的 业务 数据 。 例 如 ，Mozilla 项 目 小 组 从 alexa.com 
获得 了 最 流行 的 一 百 万 个 URL， 用 来 测试 Firefox 的 页 面 加 载 。 如 果 测 
试 对 象 是 产品 的 文档 读 取 功能 ， 测 试 人 员 可 以 从 各 种 途径 收集 不 同 用 
户 的 真实 文档 。 如 果 测 试 对 象 是 web 应用， 测试 人 员 可 以 分 析 产 品 日 

志 ， 获 得 段 时 间 内 用 户 群 的 操作 和 输入 数据 ， 从 而 构建 出 测试 输入 
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随机 地 产生 测试 数据 。 例 如 ， 模 糊 测试 调用 文件 模糊 器 随机 地 修改 原 
台 文 件 ， 生 成 一 批 测试 文件 。 因 为 对 文件 的 修改 方式 是 无 穷尽 的 ， 穷 
举 法 在 此 处 不 适用。 大 规模 随机 修改 可 以 使 产生 的 文件 较 均 匀 地 黎 兰 
输入 至 间 ， 提 高 发 现 缺陷 的 概率 。 在 数学 上 ， 数 量 庞大 的 随机 采样 有 
助 全 均匀 地 探测 整个 测 证 空 s 间 ， 降 低 遗 漏 重要 输入 区 域 的 可 能 性 。 


用 启发 式 规则 指导 随机 采样 。 纯粹 的 随机 采样 不 考虑 产品 的 业务 知 
R, 虽然 确保 了 数学 性 质 上 的 “公平 "与 “均匀 ”， 但 是 没有 根据 产品 的 特 
扩 在 重点 区 域 进行 密集 测试 。 为 了 提高 测试 效率 ， 测 试 人 员 可 以 用 一 
些 局 发 式 规则 来 指导 测试 数据 生成 。 例如 ， 高 级 的 文件 模糊 名 会 读 取 
文档 格式 的 规格 说 明 ， 以 建议 文档 格式 的 模型 ， 然 后 根据 该 模型 来 修 
改 文件 。 其 修改 过 程 依旧 具备 很 强 的 随机 性 ， 但 是 可 以 生成 更 有 攻击 
性 的 一 批文 件 。 双 例如， 测试 人 员 根 据 业务 知识 将 输入 域 划分 为 者 干 
个 区 域 ， 分 别 赋予 不 同 的 权重 。 测 试 数据 生成 器 会 在 高 权重 的 区 域 多 
采样 ， 在 低 权 重 的 区 域 少 采 样 ， 以 便 重 点 测试 高 权重 的 区 域 。 


为 每 一 条 测试 数据 生成 唯一 的 编号 。 在 测试 过 程 中 ， 测 试 程序 在 测试 
日 志 中 记录 测试 数据 编号 和 对 应 的 测试 结果 。 当 测试 人 员 分 析 测 试 日 
志 时 ， 他 可 以 根据 编号 找 出 测试 数据 ， 以 复 现 相 应 的 测试 结果 。 这 对 
于 测试 数据 和 测试 结 末 的 奶 叶 管理 尤其 重要 。 


以 上 测试 数据 生成 方法 并 不 相互 排斥 。 当 测试 复杂 产品 时 ， 测 试 人 员 需 要 
织 合 运用 它们 ， 以 发 挥 各 目的 优 操 。 例 如 ， 测 试 人 员 收 集 一 大 批 用 户 文档 
来 测试 产品 的 文档 读 写 功能 〈 功 能 性 测试 ) 。 然 后 ， 他 用 文件 模糊 器 基于 
这 批 用 户 文 档 生 成 一 组 模糊 文件 ， 以 检查 文档 读 写 功 能 是 否 存在 安全 缺陷 
(安全 性 测试 ) 。 接 着 ， 他 针对 文档 中 一 个 特别 重要 的 字段 ， 配 置 文件 模 
糊 器 去 生成 一 批文 档 ， 以 实现 对 该 字段 的 穷 举 测试 。 


HiVAT 人 往往 会 生成 大 量 的 测试 输入 数据 ， 随 之 而 来 的 一 组 问题 是 ， 已 生成 的 
测试 数据 是 否 已 经 足够 好 ? 是 否 需 要 生成 新 的 测试 数据 ? 新 的 测试 数据 需 
要 具备 哪些 新 的 特征 ? 对 于 非 穷 举 测 试 ， 这 些 问 题 没 有 标准 答案 。 


通 第 ， 测 斌 人 员 可 以 从 两 个 角度 来 考察 测试 数据 集 的 质量 。 第 一 ， 测 试 数 
据 集 应 该 很 好 地 和 窗 盖 了 业务 领域 。 例 如 ， 地 图 导航 测试 应 该 禾 盖 了 所 有 典 


型 的 出 发 地 和 目的 地 ， 页 面 加 载 测试 应 该 履 兰 了 大 部 分 用 户 可 能 访问 的 页 
面 类 型 ， 模 糊 测试 应 该 禾 震 了 文档 格式 的 所 有 字段 。 在 理想 情况 下 ， 测 试 
输入 应 该 具备 很 好 的 典型 性 和 差异 性 ， 既 能 覆盖 所 有 业务 数据 类 型 ， 又 能 
提供 足够 多 样 化 的 细节 。 第 二 ， 测 斌 数据 集 应 该 很 好 地 罗 兰 了 代码 实现 。 
测试 人 员 可 以 用 代码 履 兰 率 、 状 态 黎 兰 率 等 方法 来 寻找 尚未 被 充分 测试 的 
代码 ， 然 后 用 这 些 信 息 来 指导 后 续 测 试 数据 的 生成 。 


问题 2， 如 何 构建 测试 先知 ， 以 自动 地 发 现 产 品 缺 陷 


HiVAT 会 执行 大 量 的 测试 ， 手 工地 检查 所 有 的 测试 结果 是 不 现实 的 ， 因 此 需 
要 测试 先知 来 目 动 地 识别 缺陷 或 记录 值得 调查 的 问题 。 与 5.3 世 介绍 的 测试 
先知 技术 相似 ， 一 致 性 检查 和 规则 检查 是 目 动 化 测试 匈 知 的 常见 构造 方 

法 。 以 下 十 一 些 贡 见 策略 。 


。 检查 产品 和 参考 程序 的 一 致 性 。 例 如 ，Open Office Calc 是 一 款 电 子 表 
格 软件 。 为 了 测试 它 的 公式 计算 ， 测 试 程序 将 一 组 包含 公式 的 电子 
表格 文档 作为 测试 输入 ， 让 Calc 打 开 这 批文 档 ， 并 获得 它 的 公式 计算 结 
果 。 然 后 ， 测 试 程 序 将 这 些 结果 与 Microsoft Excel 的 计算 结果 进行 比 
较 ， 识 别 出 不 一 致 的 结果 值 。 将 Excel 作 为 参考 程序 简化 了 测试 开发 ， 
证 测 试 程序 可 以 立即 投入 应 用 。 虽 然 Excel 也 可 能 存在 缺陷 ， 但 是 从 头 
实现 相同 质量 的 公式 计算 程序 可 能 是 测试 小 组 无 法 承担 的 任务 。 


检查 被 测 版 本 和 已 发 布 版 本 的 一 致 性 。 例 如 ， 某 绘图 软件 需要 支持 已 
发 布 版 本 所 制作 的 文档 。 为 此 ， 测 试 程序 将 一 组 真实 的 用 户 文档 作为 
测试 输入 ， 让 被 测 版 本 打开 这 批文 档 ， 并 通过 屏幕 截图 来 获取 它 所 绘 
制 出 的 图 形 。 然 后 ， 测 试 程序 将 被 测 版 本 的 截图 与 已 发 布 版 本 的 截图 
进行 比较 ， 识 别 出 不 一 致 的 绘制 结 采 。 


检查 产品 自身 的 行为 是 否 一 致 。 例 如 ，Harry Robinson 用 一 组 规则 来 检 
查 谷歌 地 图 给 出 的 导航 路 线 。 其 中 一 条 规则 是 “从 A 到 B 的 导航 路 线 的 长 
度 与 从 B 到 A 的 导航 路 线 的 长 度 没 有 显著 差别 ”。 该 规则 要 求 导航 计算 在 
两 个 方向 上 保持 一 致 ， 即 检查 产品 的 逆反 运算 是 否 等 价 。 


用 一 组 约束 规则 来 检查 产品 的 结果 “。 例 如 ，Mozilla 项 目 小 组 测试 
Firefox 页 面 加 载 时 ， 他 们 实现 的 测试 程序 会 对 Firefox 做 一 系列 检查 ， 
包括 检查 Firefox 是 否 泄漏 了 内 存 ， 检 查 Firefox 是 否 触 发 了 断言 ， 检 查 
Firefox 在 加 载 URL 和 页 面 链接 时 是 否 朋 省 等 。 这 些 检查 可 以 视 为 一 组 
虽然 不 能 发 现 所 有 人 缺陷， 但 是 对 于 特定 类 型 的 问题 有 很 强 的 检 
测 能 力 。 


。 基于 测试 模型 的 检查 。 有 些 测试 程序 建立 了 产品 的 状态 机 模型 ， 并 用 


它 检 查 产 品 的 行为 。 在 测试 时 ， 测 试 程序 获取 产品 的 当前 状态 ， 随 机 
地 选择 一 条 命令 发 送 给 产品 ， 并 检查 它 的 反应 。 如 有 果 命 令 可 以 触发 符 
合 状态 机 模型 的 变迁 ， 产 品 应 该 迁移 到 目标 状态 ， 并 执行 相应 的 动 
作 。 如 有 果 命 令 不 能 触发 合法 的 变迁 ， 产 品 应 该 拒绝 执行 。 利 用 状态 机 
模型 ， 测 试 程序 可 以 用 漫长 的 命令 序列 来 检查 软件 的 行为 ， 并 发 现 一 
些 长 期 执行 才 会 梭 露 的 问题 。 


12 http://www.openoffice.org/product/calc.html ° 


在 测试 实践 中 ， 测 试 程序 往往 会 实现 多 种 测试 先知 ， 从 不 同 的 角度 来 识别 
缺陷 。 例 如 ， 测 试 程序 可 以 用 状态 机 模型 来 驱动 产品 的 状态 变迁 ， 并 记录 
异常 的 变迁 。 与 此 同时 ， 它 会 检查 产品 是 否 存 在 资源 泄露 、 断 言 触 发 和 程 
序 朋 省 等 问题 ， 并 用 参考 程序 来 检验 产品 的 计算 结果 。 只 要 计算 资源 和 测 
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问题 3， 如 何 监控 测试 执行 


因为 HiVAT 运 行 时 间 温 长， 会 触发 一 些 难以 预料 的 产品 错误 ， 测 试 乎 台 需 要 
一 些 功 能 来 你 证 大 批量 的 测试 可 以 执行 完毕 。 以 下 是 一 些 常 见 的 测试 设 


计 。 


用 独立 的 监控 进程 监视 测试 程序 和 被 测 产 品 。 在 测试 过 程 中 ， 测 试 程 
序 和 被 测 产品 都 可 能 出 现 故 障 ， 陷 入 停 清 状 态 或 发 生前 省 。 为 了 让 测 
试 可 以 持续 和 运转， 测试 人 员 可 以 实现 一 个 简单 的 监控 进程 ， 用 它 观察 
测试 程序 和 产品 的 状态 。 如 果 发 现 某 个 进程 陷入 停 灌 ， 它 会 终止 该 进 
程 ， 表 重新 启动 叱 。 如 末 发 现 某 个 进程 衣 演 ， 它 会 收集 相应 的 内 存 转 
储 文件 ， 并 重 局 该 进程 。 


测试 程序 记录 测试 进度 ， 以 便 重 新 启动 后 继续 运行 尚未 执行 的 测试 用 
例 。 例 如 ， 测 试 程 序 获 得 了 1000 条 测试 用 例 ， 每 条 测试 用 例 有 唯一 的 
编号 。 它 先 用 测试 日 志 记 录 所 有 的 测 试用 例 ， 然 后 开始 测试 。 在 测试 
过 程 中 ， 它 执行 完 一 条 测试 用 例 ， 殊 记录 该 测试 用 例 的 编写。 如果 测 
试 程序 在 执行 第 401 个 测试 用 例 时 发 生 故 障 ， 被 监控 进程 终止 。 重 新 局 
动 后 ， 测 试 程序 会 分 析 测 斌 日志， 然后 从 第 402 个 测试 用 例 开始 执行 。 
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。 测试 程序 主动 向 测试 控制 服务 器 申请 测试 用 例 ， 即 使 用 拉 模 式 来 分 配 


测试 用 例 。 在 使 用 多 台 计 算 机 执行 测试 时 ， 有 一 些 计算 机 的 性 能 比较 


高 ， 能 够 更 快 地 完成 测试 用 例 。 拉 模式 允许 这 些 计 算 机 在 执行 完 一 批 
测试 用 例 之 后 ， 可 以 立即 获得 新 的 一 批 测试 用 例 ， 而 不 必 等 竺 哪些 速 
度 较 慢 的 计算 机 。 这 有 助 于 提高 计算 机 集群 的 整体 性 能 。 


当 某 台 计算 机 发 生 故 障 时 ， 测 试 控 制服 务 器 应 该 记录 错误 ， 并 将 分 配 
给 它 的 测试 用 例 集 转移 到 其 他 计算 机 “。 因 为 软件 、 操 作 系统 、 硬 件 都 
可 能 发 生 故障 ， 所 以 测试 执行 计算 机 停止 运转 是 需要 考虑 因素 。 分 配 
测试 用 例 的 控制 服务 絮 应 该 记录 哪些 计算 机 获得 了 哪些 测试 用 例 ， 并 
周期 性 地 联系 测试 执行 计算 机 ， 以 获取 测试 进度 。 当 某 台 计算 机 停止 
啊 应 上 时， 服务 絮 应 该 将 它 尚 未 执行 的 测试 用 例 放 回 总 测试 用 例 集 。 这 
样 ， 当 其 他 计算 机 申请 测试 用 例 时 ， 这 些 测试 用 例 可 以 被 再 次 分 配 。 


HiVAT 需 要 在 无 人 职守 的 情况 下 长 时 间 运 行 。 测 试 人 员 需 要 考虑 测试 平台 的 
容错 性 和 健壮 性 ， 并 做 出 一 些 相 应 的 设计 。 紧 密 的 监控 和 恰当 的 故障 恢复 
征 基 本 的 考虑 点 。 


问题 4， 如 何 调查 大 量 的 测试 失败 


HiVAT 会 产生 大 量 的 测试 结果 。 单 纯 的 3 


F 工 调查 费时 费力 ， 让 测试 人 员 成 为 


测试 流程 的 瓶颈 。 而 且 调查 所 用 的 时 间 越 长 ， 测 试 人 员 越 容 易 感到 疲 备 、 
越 可 能 漏 掉 一 些 产品 缺陷 。 为 了 帮助 测试 人 员 高 效 地 评估 测试 结果 和 调查 
失败， 测试 平台 需要 提供 相应 的 自动 化 支持 "以 下 是 一些 莹 见 的 测试 设 
二 fo} 


测试 程序 应 该 记录 它 执行 的 所 有 测试 用 例 或 命令 ， 以 便 测试 人 员 重 现 
缺陷 。 在 猴子 测试 等 长 时 间 运 行 的 随机 测试 中 ， 测 试 程序 应 该 用 固定 
的 格式 记录 所 有 发 给 产品 的 命令 。 测 试 人 员 可 以 根据 测试 日 志 ， 手 动 
执行 命令 序列 ， 也 可 以 用 工具 读 取 测试 日 志 ， 来 重新 发 送 命令 序列 。 
这 对 于 重 现 由 随机 命令 序列 发 现 的 软件 缺陷 很 有 帮助 。 


一 旦 测试 程序 发 现 软件 错误 ， 它 应 该 尽 可 能 多 地 保存 产品 信息 和 环境 
信息 。 例 如 ， 测 试 程序 可 以 保存 崩溃 软件 的 内 存 转 储 文件 ， 并 在 测试 
日 志 中 记录 该 园 储 文件 的 路 径 。 久 例如， 测试 程序 发 现 导 航路 线 有 谍 
时 ， 它 可 以 记录 起 点 和 终点 的 位 置信 息 (邮政 编码 ，， 并 保存 导航 路 
线 的 网 页 截图 ， 帮 助 测试 人 员 立 即 了 解 失 败 情况 。 双 例如， 测试 程序 
发 现 浏 览 右 在 打开 某 个 URL 时 朋 浇 ， 它 除了 保存 内 存 转 储 文件 ， 还 会 
将 该 URL 保 存 为 离线 网 页 。 这 使 失败 调查 无 需 在 网 络 传输 上 耗费 时 
间 ， 也 避免 在 线 网 页 的 变化 使 得 缺陷 不 能 重 现 。 


用 多 台 计 算 机 执行 测试 时 ， 测 试 程序 应 该 将 测试 结果 提交 到 一 个 中 心 
节操 。 这 让 测试 人 员 可 以 集中 审阅 和 管理 所 有 测试 结果， 避免 了 手工 


收集 多 份 结 采 的 开销 。 通 第 ， 中 心 市 点 十 一 个 基于 数据 库 的 Web 服 务 ， 

测试 程序 调用 它 的 接口 来 提交 测试 结果 。 该 服务 会 整理 测试 结果 ， 并 

将 它们 保存 在 数据 库 中 。 另 一 种 设计 是 编写 一 个 数据 收集 程序 ， 它 扫 

人 
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让 测试 人 员 可 以 通过 查询 命令 来 获取 特定 的 测试 结果 。 为 了 文 持 测试 
调查 ， 测 试 平台 在 显示 测试 结果 时 需要 文 持 排序 、 过 滤 、 分 组 等 功 
能 。 将 测试 结果 保存 在 关系 型 数据 库 是 支持 此 需求 的 典型 设计 。 测 试 
人 员 可 以 通过 SQL 查 询 来 分 析 每 个 测试 失败 的 错误 消息 ， 从 而 分 组 相 
似 的 失败 、 过 滤 已 知 的 失败 、 碍 询 某 个 失败 的 出 现 频率 等 。 此 外 ， 数 
据 库 能 够 保存 以 往 的 测试 结 有 末 ， 这 方便 测试 人 员 比 较 当 前 版 本 和 历史 
版 本 的 结果 ， 从 而 快速 发 现 新 的 失败 。 


恰 如 6.2.3 节 所 讨论 的 ， 测 试 人 员 应 该 开发 面向 调试 的 测试 代码 ， 该 实践 在 
HiVAT 中 更 加 重要 。 在 设计 之 初 ， 测 斌 人员 束 应 该 考虑 如 何 分 析 HiVAT 产 生 
的 海量 测试 结果 ， 并 在 测试 生成 、 测 斌 执行、 测试 报告 等 各 个 环节 做 出 相 
应 的 设计 。 实 际 运行 HiVAT 后 ， 测 试 人 员 会 发 现 测试 调查 面临 一 些 新 的 挑 
战 。 这 时 ， 他 需要 调整 设计 ， 使 HiVAT 的 调查 效率 随 着 测试 迄 代 而 逐步 提 
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6.5 小结 


本 章 讨论 了 测试 开发 的 基本 分 类 ， 介 绍 了 一 些 自动 化 测试 和 计算 机 辅助 测 
试 的 目标 、 设 计 、 实 现 和 经 验 。 


测试 开发 的 对 象 包括 目 动 执行 的 测试 用 例 和 辅助 测试 活动 的 工具 。 
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测试 开发 也 是 一 种 软件 开发 ， 拥 有 规划 、 设 计 、 实 现 、 运 维 等 活动 ， 
需要 项 目 管理 、 测 试 设计 、 代 码 实现 等 技能 。 

目 动 化 测试 金字 塔 是 一 个 概念 模型 ， 摘 述 了 目 动 化 测试 用 例 在 理想 情 
人 
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。 单元 测试 和 系统 测试 的 测试 代码 具有 显著 差异 。 测 试 人 员 需 要 根据 所 
开发 的 代码 ， 选 用 恰当 的 设计 和 技术 。 


计算 机 辅助 测试 的 目标 是 人 尽 其 才 〈 自 由 发 挥 测试 人 员 的 智能 ) 和 物 
REA 〈 充 分 利用 计算 机 的 性 能 ) 。 


掌握 多 种 开发 技术 能 够 帮助 测试 人 员 高 效 地 完成 多 样 化 的 测试 任务 。 


利用 大 规模 目 动 化 测试 ， 测 试 人 员 可 以 开发 出 加 新 的 测试 策略 ， 完 成 
其 他 技术 难以 达成 的 测试 目标 。 


第 7 章 研究 产品 


James Bach 是 语 境 驱 动 测试 学 派 1 的 英 基 人 之 一 。 他 在 该 领域 进行 了 持续 地 
研究 和 实践 ， 并 通过 课程 “快速 软件 测试 ”将 研究 成 果 传播 给 测试 社区 。 在 
他 的 知识 体系 中 ， 局 发 式 测试 策略 模型 HTSM (24.2.17) 和 是 基 础 性 的 概 
念 框架 ， 用 来 组 织 各 种 测试 相关 的 因素 和 技术 。 该 模型 将 项 目 语 境 抽象 为 4 
个 因素 : 产品 元 素 、 项 目 环境 、 质 量 标准 、 测 斌 技术， 并 通过 产品 元 素 、 

项 目 环境 和 质量 标准 来 驱动 测试 技术 。 


1 http://context-driven-testing.com/ ° 


2 http://www.satisfice.com/info_rst.shtml ° 


HTSM 提 醒 测 试 人 员 ， 软 件 测 试 需要 综合 考虑 产品 元 素 、 项 目 环境 、 质 量 标 
准 和 测 斌 技术。 所谓“ 优秀 的 测试 ?并 不 是 使 用 最 前 治 、 最 高 级 的 测试 技 
术 ， 而 是 根据 产品 和 项 目的 实际 情况 选择 恰当 的 测试 方法 。 为 了 制定 出 符 
合 项 目 语 境 的 测试 策略 ， 本 章 将 讨论 如 何 从 测试 视角 来 研究 产品 ， 下 一 章 
将 讨论 如 何 研究 项 目 环境 。 本 章 的 主要 内 容 包括 软件 实现 分 机、 软件 业 务 
研究 和 背景 领域 研究 。 


7.1 静态 分 析 


静态 分 析 是 在 不 运行 软件 的 情况 下 ， 通 过 阅读 源 代码 来 研究 产品 的 活动 。 
对 于 测试 人 员 而 言 ， 阅 读 代码 将 帮助 他 更 好 地 理解 产品 实现 和 代码 变更 ， 


以 产生 更 好 的 测试 想法 。 本 市 讨论 静态 分 析 在 测试 活动 中 的 常见 应 用 ， 并 
介绍 一 些 基本 实践 方法 。” 


7.1.1 浏览 源 代码 来 理解 产品 实现 


刚 接 触 一 个 项 目 时 ， 测 试 人 员 可 以 浏览 产品 源 代码 来 掌握 其 基本 情况 。 由 
于 许多 项 目的 源 代 码 在 十 万 行 以 上 ， 有 些 项 目 甚至 达到 数 百 万 行 ， 所 以 测 
试 人 员 仔 细 阅 读 所 有 代码 是 不 现实 的 。 合 理 的 策略 古 浏 览 源 代码 树 ， 了 解 
源 代码 的 目录 结构 、 模 块 划 分 、 代 码 分 布 等 基本 情况 ， 然 后 阅读 部 分 源 代 
码 来 领会 编码 规范 、 架 构 设 计 、 代 码 实 现 等 技术 细 方 。 在 今后 的 工作 中 ， 

测试 人 员 可 以 根据 具体 的 测试 任务 再 去 阅读 相关 的 代码 。 

假设 ,测试 人 员 小 张 加 入 单元 测试 框架 NUnit 的 项 目 小 组 。 他 打算 花 半天 
的 时 间 来 阅读 源 代 码 ， 以 概览 产品 的 情况 。 前 先 ， 他 济 哎 NUnit 的 源 代码 树 
来 熟悉 代码 组 织 。 基 本 方法 如 下 。 


3 http://nunit.org/ ° 


。 阅读 前 要 确定 阅读 目标 ， 但 阅读 时 不 要 拘泥 于 预定 的 目标 。 漫 无 目的 
地 浏览 代码 会 浪费 大 量 的 时 间 ， 而 围绕 具体 目标 来 读 代 码 能 让 阅读 者 
更 有 效 地 利用 时 间 ， 并 获得 预期 的 成 果 。 不 过 ， 阅 读者 也 可 以 和 暂时 偏 
离 预定 的 方向 ， 研 究 某 些 他 临时 产生 的 想法 ， 或 研读 一 些 他 觉得 很 有 
趣 的 代码 。 他 可 以 设 定 一 个 15 分 钟 的 时 间 盒 去 研究 这 些 I 临 时 目标 ， 当 
时 间 耗 尽 ， 他 会 记录 人 研究 成 果 和 值得 深入 探索 的 问题 ， 然 后 回 到 原 害 
目标 上 继续 阅读 。 这 样 进 入 一 个 主题 再 退出 的 策略 被 称 为 浸入 与 退 
出 ， 其 优点 是 经 过 几 轮 的 漫 入 与 退出 ， 阅 读者 可 以 渐渐 明了 产品 的 结 
构 和 模式 ， 并 形成 更 系统 的 研究 策略 [Kaner01]。 


通过 目录 识别 模块 。 通 常 ， 一 个 目录 对 应 一 个 模块 ， 目 录 的 父子 关系 
表示 了 模块 间 的 隶属 关系 。 阅 读者 可 以 用 目录 名 推测 模块 的 大 致 功 
能 ， 然 后 阅读 目录 中 的 几 个 源 文件 来 了 解 更 多 的 信息 。 


通过 模块 了 解 产品 的 组 成 结构 ， 知 晓 各 部 分 代码 的 功能 。 熟 悉 这 些 信 
轧 有 助 于 评估 一 个 代码 变更 集 所 涉及 的 模块 、 所 影响 的 功能 。 


借助 搜索 引擎 来 了 解 相 关 技 术 。 如 果 在 阅读 过 程 中 遇 到 一 些 不 熟悉 的 
技术 ， 阅 读者 可 以 用 搜索 引擎 来 获得 它们 的 资料 ， 并 通过 快速 阅读 来 
大 致 了 解 它 们 的 背景 。 


一 边 阅 读 ， 一 边 记录 笔记 。 阅 读 代码 时 应 该 记录 所 发 现 的 重要 信息 ， 
否则 大 脑 很 可 能 在 几 天 后 束 将 它们 遗 起 。 笔 记 的 形式 可 以 多 种 多 样 ， 


清单 、 表 格 、 流 程 图 、 信 手 涂鸦 家 可 ， 只 有 要 能 帮助 阅读 考 理 解 代 码 即 
叮 。 因 为 源 代码 已 经 承载 了 所 有 细 证 ， 所 以 笔记 内 容 不 必 人 退 求 完备 ， 
只 需 记 录 阅 读者 抽象 出 的 要 点 即 可 。 


经 过 一 段 时 间 的 阅读 ， 小 张 获 得 了 如 下 笔记 。 这 些 笔记 记录 了 NUnit 源 代码 
树 的 结构 (如 图 7-1 所 示 ) 和 各 个 目录 的 主要 作用 。 


HTML 格 式 的 文档 (主页 为 index.html) ， 内 容 面向 NUnit 的 使 用 
install: 一 组 Windows Installer XML (WiX) 格式 的 XML 文件 ， 定 义 
了 所 生成 的 Windows 安 装 文件 (MSI) 需要 包含 的 程序 集 。 


lib :NUnit 依赖 的 程序 集 ， 包 括 log4net.dll、Rhino.Mocks.dll 和 
NSubstitute.dll ° 


nuget : 一 组 NuGet 格 式 的 XML 文件 ， 帮 助 Visual Studio 插 件 NuGet 将 
NUnit 加 入 Visual Studio 项 目 。 


samples: 一 组 使 用 NUnit 的 样 例 代 码 ， 所 使 用 的 语言 包括 C++/CLI、 
C# ` F# ` VB.NET ° 


scripts: 一 组 文 持 NAnt 的 XML 文件 。 

src: ”NUnit 的 源 代 码 和 测试 代码 。 

ClientUtilities : 一 批 NUnit 的 辅助 类 。 

ConsoleRunner : 运行 用 NUnit 编 写 的 单元 测试 的 控制 台 程序 。 
GuiComponents : 基于 Windows Form 技 术 的 图 形 界面 组 件 ， 包 括 C# 源 


代码 和 资源 文件 。 
GuiExeeption ， 一 批 图 形 界面 的 铺 助 类 ， 用 于 显示 单元 铀 试 所 发 现 的 
Hi 


GuiRunner : 运行 用 NUnit 编 写 的 单元 测试 的 图 形 界面 程序 。 


NUnitCore : ”NUnit 的 核心 接口 和 类 ， 包 括 TestFixture、TestMethod、 
Logger 等 。 


NUnitFramework : NUnit 的 框架 代码 ， 包 括 属性 、 约 束 、 异 常 等 。 


NUnitMocks : 文 持 虚拟 对 象 的 接口 和 类 。 


NUnitTestServer : ”NUnit 的 测试 服务 器 (nunit-agent.exe) 的 代码 。 
。PNUnit : ”NUnit 扩展 PNUnit (Parallel NUnit) 的 代码 。 
e ProjectEdit : NUnit 项 目 编辑 器 (nunit-editor.exe) 的 代码 。 


tests: 用 NUnit 编 写 的 NUnit 的 测试 用 例 。 


tools: 支持 NUnit 开 发 的 一 组 工具 ， 包 括 编译 工具 NAnt、 虚 拟 对 象 程 
序 库 NSubstitue、 安 装 文件 生成 工具 WiX。 


4 NUnit-2.6.2 
doc 
install 
lib 
nuget 
samples 
scripts 
4 Src 
ClientUtilities 
ConsoleRunner 
GuiComponents 
GuiException 
GuiRunner 
NUnitCore 
NUnitFramework 
NUnitMocks 
NUnitT estServer 
PNUnit 
ProjectEditor 
tests 


tools 


图 7-1 NUnit 的 源 代码 树 和 代码 组 织 


由 于 小 张 希望 尽快 了 解 NUnit 的 核心 代码 ， 所 以 他 标记 了 以 下 目录 ， 作 为 深 
入 阅读 的 目标 。 


e samples: 阅读 测试 样 例 来 理解 如 何 使 用 NUnit 。 


。 ConsoleRunner: 阅读 控制 台 程 序 的 代码 来 理解 如 何 运 行 NUnit 的 测试 用 
| 台 程 序 比 图 形 界面 程序 简单 ， 有 助 于 更 快 地 理解 NUnit 的 运作 
il o 


。 NUnitCore: 阅读 NUnit 的 核心 代码 来 理解 基本 概念 和 实现 。 

e NUnitFramework: 阅读 框架 代码 来 理解 NUnit 如 何 组 织 测 试用 例 。 
在 一 咒 全 局 并 标记 重点 之 后 ， 小 张 用 代码 清单 7-1 所 示 的 PowerShell 脚 本 来 
分 析 源 代码 树 。 该 脚本 分 析 当 前 目录 和 子 目 录 下 所 有 C# 文 件 ， 并 输出 文件 
名 、 文 件 所 在 目录 和 文件 行 数 到 控制 台 。 小 张 将 输出 结果 重 定 同 到 文本 文 
件 ， 再 用 Microsoft Excel 打 开 该 文本 文件 ， 并 生成 如 图 7-2 所 示 的 数据 表 。 该 
表 提 供 了 所 有 源 代码 文件 的 行 数 ， 为 进一步 的 分 析 提 供 了 基础 。 


代码 清单 7-1 ”统计 文件 行 数 的 PowerShell 脚 本 


$root = Get-Location 

"Folder tFile tLineCount" 

Get-ChildItem *.cs -Recurse | %{ 
$folderName = $_.DirectoryName.Substring($root.Path.Length); 
$lineCount = (Get-Content $_.FullName).Length 
"SfolderName  t${$_ .Name} t$lineCount" 


A B C 
1 Folder B rile 图 Linecount E 
2 \ClientUtilities\tests\resources TestResource.cs 17 
3 |\ClientUtilities\tests AssemblyListTests.cs 119 
4 |\ClientUtilities\tests AssemblyWatchertTests.cs 133 
5 \ClientUtilities\tests CategoryManagertTest.cs 80 
6 \ClientUtilities\tests CategoryParseTests.cs 144 
7 |\ClientUtilities\tests DomainManagertests.cs 96 
8 |\ClientUtilities\tests EventDispatcherTests.cs 239 
9 \ClientUtilities\tests FileWatcherTests.cs 130 
|10 \ClientUtilities\tests MemorySettingsStorageTests.cs 104 


图 7-2 NUnit 的 源 代码 行 数 


ACE ceria a SU lea 量 ， 不 能 提供 丰富 的 语义 信息 ， 但 是 不 失 
为 很 好 的 分 析 切 入 点 。 第 一 ， 一 段 很 简单 的 脚本 束 可 以 统计 出 源 代 码 的 行 
数 ， 让 阅读 者 外 入 立即 了 解 代 码 的 情况 。 第 二 ， 任 何 度量 方法 都 只 反映 特 
定 方面 的 信息 ， 代 码 行 数 简单 明了 ， 次 一 些 复杂 的 方法 更 省 接 地 说 明了 代 
码 的 情况 。 第 三 ， 理 解 产品 实现 需要 仔细 研读 代码 ， 任 何 度量 方法 都 是 辅 
助 。 既 然 如 此 ， 不 妨 从 最 简单 的 度量 入 手 。 


基于 如 图 7-2 所 示 的 数据 表 ， 小 张 获 得 了 代码 行 数 的 统计 结果 ( 详 见 表 7- 

1) ， 并 绘制 出 代码 行 数 的 分 布 图 〈 详 见 图 7-3) 。 由 表 7-1 可 知 ，NUnit 的 测 
试 代码 要 远 多 于 产品 代码 ， 测 斌 代码 的 文件 数 是 产品 代码 的 4.2 倍 ， 测 试 代 
码 的 代码 行 数 是 产品 代码 的 4.4 倍 ， 这 暗示 NUnit 很 可 能 采用 测试 驱动 开发 ， 
自动 化 测试 的 代码 量 很 大 。 人 小 张 还 看 出 NUnit 的 产品 代码 有 2 万 多 行 ， 平 均 
到 每 个 文件 只 有 145 行 。 这 说 明 NUnit 是 一 个 小 型 的 测试 框架 ， 大 多 数 源 代 
码 文件 长 度 较 短 。 图 7-3 也 确认 大 部 分 源 代 码 文件 的 长 度 小 于 500 行 ， 超 过 
1000 行 的 文件 屈指 可 数 。 


表 7-1 NUnit 的 代码 行 数 统计 


PP 


Cg- 


bt TNT al 
图 7-3 PRICE (产品 代码 和 测试 代码 ) 的 代码 行 数 分 布 


随后 ， 小 张 绘 制 出 图 7-4， 以 获悉 代码 行 数 最 多 的 10 个 文件 。 由 该 图 可 知 ， 
代码 最 多 的 是 Assert.cs。 通 过 阅读 代码 ( 详 见 图 7-5) ， 小 张 发 现 Assert.cs 包 
含 一 批 测 试 断言 函数 。 断 言 画 数 数量 庞大 且 函 数 注 释 较 长 ， 该 文件 达到 
3600 多 行 。 但 是 每 个 函数 都 很 简单 ， 所 以 整个 文件 的 复杂 度 并 不 高 。 接 下 
来 3 个 代码 较 多 的 文件 与 图 形 界面 相关 ， 说 明 图 形 界 面 是 NUnit 中 相对 复杂 
的 部 分 。 然 后 是 测试 加 载 器 TestLoadercs， 阅 读 其 代码 可 知 它 帮 助 测试 运行 
器 加 载 和 御 载 测试 用 例 。 最 后 是 3 个 约束 相关 的 文件 ， 这 暗示 约束 是 NUnit 
中 一 个 较 复 杂 的 概念 。 


\NUnitF ramework\framework\Assert.cs 3666 
\GuiRunner\nunit-gui\N UnitForm.cs 1888 
\GuiComponents\UiKit\TestSuiteTreeView.cs i 1400 
\GuiComponents\UiKit\TestTree.cs = 826 
\CientUtilities\util\TestLoader.cs Sm 821 
\NUnitFramework\framework\Constraints\ConstraintExpression.cs i 808 
\NUnitFramework\framework\Constraints\ConstraintFactory.ccs i 807 
\NUnitFramework\tests\Constraints\CollectionConstraintTests.cs Ss 728 
\NUnitCore\core\Bullders\PairwiseStrategy.cs mus 695 
\NUnitFramework\framework\CollectionAssert.cs i 658 
\NUnitCore\core\TestSuite.cs mum 657 
\GuException\tests\CSharpParser\TestTokenClassifier.cs EE 632 
\NUnitCore\tests\EvertQueueTests.cs MEME 626 
\NUnitFramework\tests\EquasFixture.cs Si 578 
\ProjectEditor\editor\PropertyEditor\PropertyView.Designer.cs Sm 563 
\NUnitCore\interfaces\RuntimeFramework.cs MENE 557 
\GuiException\tests\Controts\TestCodeBox.cs ME 557 
\NUnitFramework\framework\Constraints\EqualConstraint.cs mum 556 
\NUnitFramework\framework\DirectoryAssert.cs MEN 553 
图 7-4 代码 行 数 最 多 的 10 个 文件 
3 Assertcs - Notepad2 - 5 eii 
File Edit View Settings ? 
1996 /// <summary> a 
1997 /// Nerifies that two objects are equal. Two objects are considered 
1998 /// equal if both are null, or if both have the same value. NUnit 
1999 /// has special semantics for some object types. 
2000 /// If they are not equal an <see cref="AssertionException"/> is thrown. 
2001 /// </summary> 
2002 /// <param name="expected">The value that is expected</param> 
2003 /// <param name*"actual">The actual value</param> 
2004 /// <param name="message”>The message to display in case of failure</param> 
2005 /// <param name="args">Array of objects to be used in formatting the message</param> 
2006 public static void AreEqual(object expected, object actual, string message, params object[] args) 
2007 { 
2008 Assert.That(actual, Is.EqualTo(expected), message, args); 
2009 } Y 


图 7-5 Assert.cs 源 代码 (局 部 ) 


为 了 更 好 地 理解 模块 的 代码 量 ， 小 张 又 绘制 了 图 7-6， 以 了 解 代 人 码 行 数 最 多 
的 10 个 目录 。 由 该 图 可 知 ， 图 形 界 面 模 块 UiKit 拥 有 最 多 的 代码 ， 其 次 是 

Constraints ` core ` framework、uti]、interface 等 NUnit 的 核心 模块 。 随 后 是 
约束 的 测试 代码 (NUnitFramework\tests\Constraints) ， 这 再 次 暗示 约束 可 
能 是 比较 复杂 的 概念 ， 拥 有 较 多 的 产品 代码 和 测试 代码 。 


\GuiComponents\UiKit 9661 
\NUnitFramework\framework\Con straints 9504 
\NUnitCore\core 9347 
\NUnitFramework\framework 8885 


\ClientUtilities\util m 7320 
\NUnitCore\interfaces EE 3942 
\NUnitFramework\tests\Constraints MEM 3826 
\GuiRunner\nunit-cul  ~=3712 
\tests\test-assembiy  mmmmmmm 3497 
\GuiException\UiException\Controls memm 3040 
\NUnitCore\core\Builders Es 2924 
\GuiException\tests\Controls EE 2888 
\ProjectEditor\editor\PropertyEditor mmm 2636 
\GuiRunner\nunit-gui\SettingsPages MEME 2268 
\NUnitFramework\tests\Syntax EME 2256 
\GuiException\UiException\CSharpParser mmm 2043 
\NUnitFramework\framework\Attributes MM 1914 
\Guixception\tests\CSharpParser MN 1784 
\CientUtiities\util\Services mmm 1617 
\PNUnit\launcher mum 1470 
\NUnitCore\interfaces\Extensibility mmm 1131 
\ProjectEditor\editor\Main mum 1128 
\ConsoleRunner\nunit-console mmm 1084 
\ProjectEditor\tests\Presenters ma 1025 


图 7-6 代码 行 数 最 多 的 10 个 目录 
根据 表 7-1、 图 7-3、 图 7-4 和 图 7-6， 小 张 获得 了 NUnit 的 代码 分 布 ， 了 解 了 模 
块 和 文件 的 代码 量 ， 为 深入 研究 提供 了 基本 信息 。 如 果 熟 悉 脚 本 语言 和 电 
子 表格 ， 获 得 统计 信息 并 作 图 只 需 十 多 分 钟 的 时 间 ， 而 且 还 可 以 绘制 更 多 
的 图 表 ， 从 不 同 的 角度 挖掘 源 代码 的 信息 。 
回顾 以 上 代码 度量 步骤 不 难 获得 如 下 经 验 。 

。 代码 度量 提供 了 代码 某 个 方面 的 概况 ， 可 以 帮助 阅读 者 一 哎 全 局 。 


。 简单 的 代码 度量 很 容易 实现 。 本 的 案例 表明 不 使 用 语法 分 析 、 仅 利 
用 文本 分 析 束 能 提供 一 些 有 儿 助 的 信息 。 


用 恰当 的 工具 (电子 表格 、 数据库 等 ) 分 析 数据 ， 可 以 快速 地 计算 并 
展示 数据 。 这 提高 了 数据 分 析 的 效率 。 


代码 度量 只 提供 了 代码 阅读 的 线索 ， 获 得 更 透彻 地 理解 仍旧 需要 深入 
阅读 源 代 码 。 


在 知晓 代码 的 基本 情况 后 ， 小 张 开 始 阅读 具体 的 代码 ， 来 获得 更 深刻 的 理 


解 。 


通常 ， 阅 读者 没有 时 间 查 看 所 有 源 代 码 ， 因 此 他 需要 选择 性 地 阅读 。 


基本 的 策略 是 选择 与 当前 测试 任务 有 关 的 代码 。 因 为 小 张 的 阅读 目标 是 熟 
所 以 他 打算 阅读 一 些 核 心 的 且 自 己 感 兴趣 的 代码 。 他 所 选择 
» har FE =. o 
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法 和 语义 。 考 虑 到 NUnit 提 供 了 很 好 的 文档 ， 小 张 决定 从 文档 入 手 。 他 通过 
文档 的 首页 (doc\index.html) 发 现 了 一 批 约束 相关 的 页 面 ( 详 见 图 7-7) ° 
他 快速 浏览 这 批 页 面 ， 重 点 阅读 文档 摘要 和 代码 示例 ， 从 而 逐渐 形成 以 下 


UE ° 


约束 的 全 称 应 该 是 “基于 约束 的 断言 模型 *， 它 由 一 组 类 构成 ， 用 于 编 
写 测试 检查 代码 。 


利用 约束 编写 的 断言 代码 类 似 于 测试 领域 专属 语言 ， 让 测试 开发 人 员 
可 以 用 精炼 的 代码 来 表达 丰富 的 语义 。 例 如 ， 语 句 Assert .That 

(intArray，Has.All.GreaterThan(0) ) 检查 整数 数组 
intArray 的 所 有 元 素 都 大 于 0。 该 语句 的 核心 是 约束 代码 
Has.All.GreaterThan(0) ， 它 用 短小 清晰 的 格式 表达 出 检查 方 
法 ， 让 测试 逻辑 一 目 了 然 。 


基于 约束 的 断言 代码 包括 两 部 分 : 约束 的 使 用 者 《如 断言 函数 
Assert.That(object actual, IResolveConstraint 
constraint) ) 和 约束 的 实现 者 〈 实 现 接 口 IResolveConstraint 的 对 
RR) 。 


从 Assert ,That 的 函数 签名 推出， 约束 的 实现 手法 类 似 于 命令 模式 
[Gof94]， 即 测试 代码 定义 命令 ， 然 后 将 命令 传递 给 Assert .That ， 
由 后 者 调用 命令 。 

约束 的 呈现 方式 是 一 个 表达 式 (如 Has .All.GreaterThan(0)) 。 
实现 方式 可 能 是 解释 器 模式 [Gof94]， 即 通过 表达 式 树 来 定义 计算 逻 
H fo} 
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m NUNIT 2.6.2 
© GETTING STARTED 
@ WRITING TESTS 
@ ASSERTIONS 
@ ATTRIBUTES 
D CONSTRAINTS 


Constraint-Based Assert Model (NUnit 2.4) 


The constraint-based Assert model uses a single method of the Assert class for all 
assertions. The logic necessary to carry out each assertion is embedded in the 
constraint object passed as the second parameter to that method. 


Here's a very simple assert using the constraint model: 


Assert.That( myString, Is.EqualTo("Hello") ); 


The second argument in this assertion uses one of NUnit's syntax helpers to 
create an EqualConstraint. The same assertion could also be made in this form: 


Assert.That( myString, new EqualConstraint ("Hello") ); 


Using this model, all assertions are made using one of the forms of the Assert.That 
() method, which has a number of overloads... 


© EQUAL CONSTRAIN 
@ SAMEAS CONSTRAI 
m CONDITION CONSTI 
m COMPARISON CONS 
@ PATH CONSTRAINT: 
@ TYPE CONSTRAINTS 
@ STRING CONSTRAD 
m COLLECTION CONS’ 


m PROPERTY CONSTR 
© THROWS CONSTRAI 
m COMPOUND CONST. 
m DELAYED CONSTR¢ 
m LIST MAPPER 
@ REUSABLE CONSTR 
@ TEST CONTEXT 
m RUNNING TESTS 


epee 
string phe object [] parms ) 
Assert.That( ActualValueDelegate del, IResolveConstraint constraint ) 
veConstraint 


Assert. That( 人 del, IResol 


message ) 
Assert. That( os pt del, IResoiveConstraint constraint, 
string message, cbject[] parms ) 


constraint, 


图 7-7 约束 的 文档 


为 了 检验 对 代码 实现 的 推测 ， 小 张 搜索 源 代码 ， 发 现 了 Assert.That(...) 
对 IResolveConstraint 的 调用 ( 详 见 图 7-8) 和 
IResolveConstraint 的 定义 ( 详 见 图 7-9) 。 由 这 两 段 代 码 ， 他 基本 确 
认 约 束 使 用 者 与 约束 实现 者 通过 命令 模式 来 连接 。 然 后 ， 他 浏览 约束 实现 
类 的 源 代码 (位 于 目 \sre\INUnitFramework\framework\Constraints) 。 根 据 
ConstraintExpression ( 详 见 图 7-10) 等 类 的 实现 代码 ， 他 基本 确定 
约束 的 逻辑 由 表达 式 树 来 实现 。 


E Assert.cs - Notepad2 - -EA 
File Edit View Settings ? 

303 static public void That(object actual, IResolveConstraint expression, string message, params object[] args) ^ 

304 { 

305 Constraint constraint = expression.Resolve(); 

306 

307 Assert. IncrementAssertCount(); 

308 if (!constraint.Matches(actual)) 

309 { 

320 MessageWriter writer = new TextMessageWriter(message, args); 

311 constraint. WriteMessageTo(writer) ; 

312 throw new AssertionException(writer.ToString()); 

313 } 

314 } v 


图 7-8 Assert .That 对 IResolveConstraint 的 调用 


B 
File 
7 


IResolveConstraint.cs - Notepad2 om 
Edit View Settings ? 
namespace NUnit.Framework.Constraints ^ 
{ 
/// <summary> 
/// The IConstraintExpression interface is implemented by all 
/// complete and resolvable constraints and expressions. 


/{/ </summary> 
public interface IResolveConstraint 


/// <summary> 

/// Return the top-level constraint for this expression 
/// </summary> 

/// <returns></returns> 

Constraint Resolve(); 


图 7-9 IResolveConstraint 的 定义 


% ConstraintExpression.cs - Notepad2 = 0 
File Edit View Settings ? 

10 namespace NUnit.Framework.Constraints a 

1 { 

12 /// <summary> 

13 /// ConstraintExpression represents a compound constraint in the 

14 /// process of being constructed from a series of syntactic elements. 

15 /// 

16 /// Individual elements are appended to the expression as they are 

17 /// ceognized. Once an actual Constraint is appended, the expression 

18 /// returns a resolvable Constraint. 

19 /// </summary> 

20 public class ConstraintExpression : ConstraintExpressionBase 

21 { 

22 /// <summary> 

23 /// Initializes a new instance of the <see cref="T:ConstraintExpression”/> class. 

24 /// </summary> 

25 public ConstraintExpression() { } 

26 y 


图 7-10 ConstraintExpression 的 定义 
由 以 上 代码 阅读 过 程 ， 不 难 提取 出 一 些 代 码 阅 读 的 基本 实践 。 
© 阅读 者 针对 一 个 特定 的 主题 进行 阅读 ， 以 点 带 面 地 推动 代码 理解 。 


对 于 一 组 代码 ， 阅 读者 需要 从 外 部 代码 的 角度 理解 它们 的 功能 和 用 
法 ， 并 评 佑 它们 对 整个 产品 的 贡献 。 


对 于 一 组 代码 ， 阅 读者 需要 理解 它们 的 实现 方法 ， 包 括 所 使 用 的 设 
计 、 所 采用 的 技术 、 所 依赖 的 其 他 代码 等 。 


了 解 语言 特性 、 惯 用 设计 、 命 名 规范 等 基础 知识 会 帮助 阅读 。 阅 读者 
需要 主动 地 学 习 和 积累 这 方面 的 知识 。 


代码 阅读 并 没有 固定 的 阅读 顺序 。 阅 读者 可 以 由 一 个 函数 或 类 切入 ， 
搜索 并 阅读 它 的 调用 代码 和 实现 代码 。 他 也 可 以 顺序 浏览 一 个 目 孙 中 
的 源 代码 文件 ， 以 通盘 了 解 。 


在 阅读 过 程 中 ， 阅 读者 会 产生 一 些 想法 。 应 该 将 它们 记录 下 来 ， 并 阅 
读 更 多 的 代码 来 检验 这 些 想 法 ， 从 而 获得 更 深刻 的 理解 。 


7.1.2 分 析 源 代码 来 帮助 测试 设计 


在 具体 的 测试 任务 中 ， 测 试 对 象 通 肖 是 一 组 代码 变更 。 它 们 或 增加 产品 的 

功能 ， 或 重 构 已 有 的 代码 ， 或 修复 已 知 的 缺陷。 其 特征 都 是 只 改动 产品 的 

部 分 代码 ， 并 要 求 修改 后 的 产品 可 以 正常 工作 。 为 了 更 有 效 的 测试 ， 测 试 
员 需 要 阅读 代码 来 以 理解 变更 的 影响 ， 并 激发 测试 想法 。 


影响 分 析 是 一 种 常用 的 代码 分 析 方 法 ， 则 在 分 析 目 标 代码 受 哪些 代码 的 影 
a A RRE T 关注 以 下 两 
| o 


。 哪些 代码 会 影响 被 修改 代码 ? 被 修改 代码 的 输入 数据 从 何 而 来 ? 如 何 
构造 测试 用 例 让 程序 执行 履 盖 被 修改 代码 ? 如 何 构 造 测 试用 例 以 测试 
被 修改 代码 的 状态 ? 能 否 构 造 测 试用 例 让 被 修改 代码 发 生 错 误 ? 


被 修改 代码 会 影响 到 哪些 代码 ?被 修改 代码 的 输出 数据 流向 何 处 ? 如 
何 观察 到 被 修改 代码 的 输出 ? 如 何 构造 测试 用 例 以 更 全 面 地 测试 受 影 
隐 的 代码 2 能 否 让 被 修改 代码 产生 "党 "的 输 册 数据 ， 令 受 影 响 的 代 
3 发生 错误 ? 


为 了 识别 代码 之 间 的 影响 ， 测 试 人 员 需 要 在 阅读 代码 的 过 程 中 实施 控制 流 
分 析 和 数据 流 分 析 。 


。 控制 流 分 析 检 查 语 句 A 的 执行 是 否 影响 语句 B 的 执行 。 以 下 是 一 些 基 
本 的 分 析 规 则 。 


o 如 来 函数 A Val FEN 2B, LARK EA 控制 影响 函数 B ， 也 称 函 数 B 
控制 依赖 于 函数 A 。 


o 分 支 语 句 的 条 件 表达 式 控制 分 支 语 句 的 子 语句 。 例 如 ， 在 if 
(expr) { A; } else { B; } 中 ， 表 达 式 expr 控制 影响 语 
AJA 和 语句 B ， 也 称 语句 A 和 语句 B 控制 依赖 于 表达 式 expr 。 


循环 语句 的 条 件 表达 式 控制 循环 语句 的 循环 体 。 例 如 ， 在 while 

(expr) { A; } 中， 表达 式 expr 控制 影响 语句 A ， 也 称 语句 A 
控制 依赖 于 表达 式 expr 。 

跳 转 语句 所 跳 过 的 语句 依赖 于 跳 转 语句 。 例 如 ,在 if (expr) { 
return; } A; 中 ， 跳 转 语 句 return 改变 了 程序 的 执行 流 ， 执 
行 return 语句 将 导致 语句 A 不 被 执行 。 于 是 ，return 语 境 控制 
影响 语句 A ， 也 称 语句 A 控制 依赖 于 return 语句 。 

。 数据 流 分 析 检 查 语句 A 赋值 的 数据 是 否 被 语句 B 使 用 。 


o 如 果 变 量 x 被 语句 A 赋值 或 修改 ， 那 么 称 语句 A 是 变量 x 的 定义 
H o 


fe} 


O 


o 如 果 变 量 x 的 值 被 语句 B 使 用 ， 那 么 称 语句 B 十 变量 x 的 引用 点 。 


o 如 果 语 句 A 是 变量 x 的 定义 点 ， 语 句 B 是 变量 x 的 引用 点 ， 存 在 一 
条 从 A 到 B 的 执行 路 径 ， 且 该 路 径 上 x 不 被 修改 ， 那 么 称 语句 A 数 
据 影 响 语句 B ， 也 称 语句 B 数据 依赖 于 语句 A 。 


接 下 来 通过 一 个 实例 来 展示 影响 分 析 在 代码 阅读 中 的 运用 。 程 序 wc4 是 Unix 
平台 的 一 个 常用 命令 ， 用 来 统计 文本 文件 的 字符 数 、 单 词 数 和 行 数 。 图 7-11 
展示 了 wc 最 基本 的 范 数 调用 关系 5。 主 函数 main 从 命令 行 接受 待 分 析 的 文 
件 名 ， 然 后 调用 函数 counter 完成 统计 任务 。 为 了 统计 字符 、 单 词 和 行 的 
数目 ，counter 调用 画 数 getword ， 而 后 者 调用 函数 isword 来 判断 一 个 
字符 是 否 为 单词 字符 。 


4 wc 的 样 例 代码 : http://www.gnu.org/software/cflow/manual/html_node/Source-of-wc-command.html ° 


5 完整 的 函数 调用 图 请 参考 : http://www.gnu.org/software/cflow/manual/html_node/ASCII- 
Tree.html#ascii%20tree ° 


, main() | BD | Counter() | E | getword() | E> | isword() 


图 7-11 _wcc 中 的 画 数 调用 关系 
(OER sword 的 实现 代码 被 修改 ， 测 试 人 员 需 要 检查 该 代码 变更 没有 引 


入 错 


误 。 他 在 源 代码 文件 wc.c 中 搜索 isword 的 调用 点 ， 发 现 了 它 的 两 个 调 


用 点 都 在 范 数 getword 中 (具体 实现 请 参考 代码 清单 7-2) 。 然 后 ， 他 对 每 
一 个 调用 点 进行 了 分 析 。 


getword 的 第 一 个 调用 点 在 语句 C。 语 句 C 使 用 变量 c ( 即 语句 C 是 变 
量 c 的 引用 点 ) ， 该 变量 的 取 值 来 自 于 语句 B ( 即 语句 B 是 变量 c We 
SUR) ， 故 语句 C 数据 依赖 于 语句 B。 在 语句 B 中 ， 变 量 c 的 值 读 取 自 
文件 指针 印 ， 而 文件 指针 的 定义 点 是 语句 A。 所 以 ， 完 整 的 数据 流 是 A 
>B 一 C ， 即 被 修改 代码 isword 的 输入 数据 来 目 于 印 对 应 的 文件 ( 数 
据 流 图 请 参考 图 7-12) 。 这 提示 测试 人 员 构造 各 种 各 样 的 文件 以 周密 地 
测试 代码 变更 。 


o 构造 一 个 或 一 组 文件 覆盖 isword 的 输入 参数 c 的 所 有 取 值 ， 即 
unsigned char 的 所 有 取 值 (256 个 值 ) 。 


。 为 了 检查 wc 的 正确 性 ， 构 造 一 个 或 一 组 文件 包含 空格 、Tab 键 、 数 
字 、 字 母 、 回 车 、 换 行 等 字符 ， 以 检查 wc 正 确 地 统计 了 字符 数 、 
单词 数 和 行 数 。 


o 测试 ASCII 和 Unicode 编 码 的 文件 。 
o 测试 文本 文件 和 二 进 制 文件 。 


在 语句 C 中 ，getword 位 于 if 语句 (分 支 语句 ) 的 条 件 表达 式 中 ， 它 
的 返回 值 会 影响 程序 的 执行 。 进 一 步 分 析 可 知 ， 语 句 D 和 语句 E 控制 依 
赖 于 语句 C。 进 一 步 地 ， 语 句 E 是 跳 转 语句 ， 如 果 它 被 执行 ， 那 么 语句 
F 不 会 被 执行 ， 故 语句 F 控制 依赖 于 语句 E。 所 以 ， 完 整 的 控制 流 是 C 
>{D;E} >F 一 COUNT(c) (控制 流 图 请 参考 图 7-12) 。 分 析 控 制 流 
上 的 语句 可 知 ， 它 们 会 递增 变量 wcount 、ccount 和 ]ccount 的 

值 。 这 提示 了 一 些 测试 想法 。 


o 构造 测试 输入 ， 计 wcount 、ccount 或 lccount 的 值 不 被 修 
改 。 


o 构造 测试 输入 ， 让 wcount 、ccount 或 1ccount RA avis 
Io 


。 getword 的 第 二 个 调用 点 在 语句 H。 经 过 分 析 可 得 数据 流 A >F >H 和 控 
制 流 H -E >F (详情 请 参考 图 7-12) 。 之 后 ， 测 试 人 员 可 实施 测试 分 
析 ， 以 获得 测试 想法 。 


代码 清单 7-2 we.ctgetword 和 isword 的 代码 


/* Return true if C is a valid word constituent */ 
static int 
isword (unsigned char c) 


{ 


return isalpha2 (c); // 此 处 代码 被 修改 
} 


/* Increase character and, if necessary, line counters */ 
#define COUNT(c) \ 
ccount++; \ 
if ((c) == '\n') \ 
lcount++; 


/* Get next word from the input stream. Return 0 on end of file or 
error condition. Return 1 otherwise. */ 

int 

getword (FILE *fp) // A: 变量 fp 的 定义 点 

{ 


int c; 
int word = 0; 


if (feof (fp)) 


return 0; 
while ((c = getc (fp)) != EOF) // B: 变量 c 的 定义 点 ， 也 是 变量 fp 的 引用 点 
{ 
if (isword (c)) // C: 辑 数 isword 的 调用 点 ， 也 是 变量 c 的 引 
HA 
{ = 
wcount++; // D: 该 语句 控制 依赖 于 语句 C 
break; // E: 该 语句 控制 依赖 于 语句 C 
} 
COUNT (c); // F: 该 语句 控制 依赖 域 语句 E 
for (; c != EOF; c = getc (fp)) // G: 变量 c 的 定义 点 ， 也 是 变量 fp 的 引用 点 
{ 
COUNT (c); // Hi 该 语句 控制 依赖 于 语句 J 
if (!isword (c)) // I: 玉 数 isword 的 调用 点 ， 也 是 变量 c 的 引 
用 点 
break; // 3: 该 语句 控制 依赖 于 语句 I 
} 


return c != EOF; 


图 7-12 展 现 了 以 上 影响 分 析 的 结果 ， 其 中 实 线 表示 数 据 流 ， 虚 线 表示 控制 


流 。 对 于 简单 的 程序 ， 测 试 人 员 只 要 在 头脑 中 分 析 语 名 的 影响 关系 即 可 ， 
无 需 绘制 详细 的 图 形 。 对 于 复杂 的 程序 ， 测 试 人 员 可 以 一 边 阅 读 ， 一 边 写 
下 重要 的 语句 或 画 数 ， 并 绘制 出 它们 之 间 的 关系。 这 能 够 帮助 他 同时 追踪 
多 行 代码 ， 发 掘 它们 的 关系 ， 从 而 较 完 整地 理解 代码 。 


A: getword(FILE*fp) 
fp 


F: c=getc(fp) 


H: if(isword(c)) 


if((c)=="\n") 
lcount++; 


图 7-12 画 数 getword 的 数据 流 和 控制 流 (局 部 ) 


值得 一 提 的 是 ， 全 局 变量 是 需要 特别 关注 的 对 象 。 它 们 往往 被 软件 的 多 个 
功能 读 写 ， 会 广泛 地 影响 软件 的 控制 沪 和 数据 流 。 因 为 它们 的 读 写 代码 通 
党 分 布 在 多 个 文件 中 ， 只 阅读 变更 代码 不 能 完整 地 理解 它们 的 影响 。 此 
时 ， 测 试 人 员 需 要 在 整个 源 代 码 树 上 搜索 它们 的 引用 点 和 和 定义 点 ， 然 后 


分 析 变 更 代码 如 何 影响 这 些 引用 点 、 又 如 何 被 这 些 定义 点 所 影响 。 因 为 代 
码 修 改 者 很 可 能 没有 考虑 这 些 引 用 点 和 定义 后 ， 所 以 变更 代码 会 引入 某 些 
缺陷 ， 而 全 面 的 影响 分 析 将 找 出 这 些 问 题 。 


与 影响 分 析 相 似 ， 污 染 传播 分 析 也 是 一 种 基于 控制 流 和 数据 流 的 代码 分 析 
方法 [Chess07]。 它 重点 关注 数据 流 ， 通 过 分 析 数 据 从 何 处 进入 软件 和 数据 
如 何在 软件 中 传播 ， 来 发 掘 隐 藏 的 缺陷 。 污 染 传播 分 析 是 一 些 静 仿 代 码 检 
查 工具 的 基础 ， 在 软件 安全 领域 得 到 成 功 的 应 用 ， 能 够 发 现 许 多 动态 测试 
难以 暴露 的 安全 性 问题 。 对 于 普通 的 测试 人 员 ， 即 便 没 有 代码 检查 工具 的 
i eg ogee 
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污染 传播 的 核心 隐喻 是 “污染 "和 “传播 "”。 所 请 “污染 ”是 指 说 污染 的 数据 ， 其 
源头 通常 是 包含 恶意 数据 的 攻击 性 输入 。 所 谓 “ 传 播 " 是 指 软件 没 能 过 滤 挥 
被 污染 的 数据 ， 让 这 些 恶 意 数据 在 软件 中 传播 ， 最 终 导致 软 件 故 障 ， 或 将 
恶意 数据 传递 给 用 户 和 其 他 软件 。 为 了 发 现 此 类 问题 ， 测 试 人 员 可 以 考虑 
以 下 代码 阅读 方法 。 


。 标记 软件 的 入 口 点 ， 即 寻找 接收 外 部 输入 的 代码 。 这 批 代 码 会 调用 语 
言 、 程 序 库 或 平台 的 API (这 些 API 的 名 字 常 包含 read ` receive ` 
accept、fetch 等 单词 ) 来 接受 数据 ， 其 数据 来 源 包 括 用 户 输 入 、 文 件 、 
数据 库 、 平 台 调 用 、 网 络 通信 等 。 


。 分 析 以 入 口 点 为 源头 的 数据 流 ， 寻 找 输入 检查 代码 。 通 常 ， 检 查 代 码 
n a HWA > PRERA LIETE a, E BETE 
i 0 


o 如 有 条 不 存在 检查 代码 ， 那 么 测试 人 员 分 析 使 用 输入 数据 的 代码 ， 
然后 构造 出 攻击 性 的 输入 数据 ， 让 使 用 该 数据 的 代码 出 错 。 


o 如 果 存 在 检查 代码 ， 那 么 测试 人 员 仔细 分 析 检 查 代码 ， 以 挖掘 检 
查 逻 辑 的 漏洞 。 无 论 是 否 发 现 了 确 首 的 漏洞 ， 他 都 可 以 针对 检查 
代码 输入 攻击 性 的 数据 ， 以 测试 它 能 否 正确 地 过 滤 掉 恶意 数据 。 


。 标记 软件 的 出 口 点 ， 即 找到 发 送 输出 数据 的 代码 。 这 批 代码 会 调用 语 
言 、 程 序 库 、 平 台 的 API (这 些 API 的 名 字 常 包含 write、send ` output ` 
flush 等 单词 ) 来 写 出 数据 ， 其 输出 目标 包括 用 户 界面 、 文 件 、 数 据 
库 、 其 他 程序 、 网 路 服务 等 。 


。 Ree 口 点 为 终点 的 数据 流 ， 寻 找 输出 之 前 清理 数据 和 格式 化 数据 


o 清理 数据 的 代码 应 该 过 滤 挥 异常 数据 ， 使 得 污染 不 会 传递 给 其 他 
软件 或 数据 存储 (文件 、 数 据 库 、 注 册 表 等 。 测 试 人 员 的 任务 
征 分 析 这 些 代 码 ， 然 后 通过 测试 用 例 来 展开 攻击 ， 以 检查 它 能 否 
正确 地 发 现 并 处 理 不 正确 的 数据 。 阅 读 代码 可 以 提供 更 多 的 攻击 
思路 ， 较 单纯 的 墨盒 测试 更 加 高 效 。 


格式 化 数据 的 代码 会 转化 数据 的 表现 形式 ， 以 产生 目标 软件 或 数 
据 存储 可 以 接受 的 数据 。 不 正确 的 格式 化 会 产生 错误 的 数据 ， 对 
数据 接收 者 而 言 这 些 错误 的 数据 也 是 一 种 污染 。 测 试 人 员 的 任务 
征 分 析 格 式 化 代码 ， 然 后 构造 测试 用 例 来 骏 露 它们 的 问题 。 


尝试 寻找 一 条 从 入 口 点 到 出 口 点 的 数据 流 。 在 该 数据 流 上 ， 输 入 
检查 代码 和 输出 检查 代码 都 存在 问题 ， 使 得 恶意 的 数据 可 以 从 入 
口 点 一 直 传播 到 出 口 点 ， 从 而 影响 到 其 他 软件 或 数据 存储 。 


图 7-13 摘 录 自 4.2.3 节 ， 描 述 了 一 个 客户 端 ? 服 务 器 架构 的 报表 系统 。 在 客户 
问 ， 一 个 运行 在 正中 的 Silverlight 详 用 从 服务 端 获得 数据 ， 并 绘制 报表 。 在 
服务 端 ， 一 个 同步 工具 将 外 部 数据 源 的 数据 写 入 数据 库 ， 一 个 Windows 服 务 
读 取 该 数据 库 ， 并 将 数据 传递 给 一 个 IIS 网 站 ， 最 后 该 网 站 将 数据 传递 给 
户 端的 Silverlight 尽 用 ° 
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图 7-13 报表 系统 的 系统 生态 图 
根据 污染 传播 的 思路 ， 测 试 人 员 可 以 考虑 如 下 代码 阅读 策略 。 
。 阅读 同步 工具 和 数据 库 的 代码 ， 并 构造 测试 用 例 。 


a 
m 


能 否 处 理 来 目 外 部 数据 产 的 异常 数据 。 


E 
今 碍 它 不 会 将 错误 的 数据 写 入 数据 库 。 一 个 典型 且 广 重 的 错误 是 
司 步 工具 存在 SQL 注入 的 安全 漏洞 ， 让 来 目 外 部 数据 源 的 恶意 数 
据 自 改 或 删除 了 数据 库 的 数据 。 测 试 人 员 不 应 该 假定 外 部 数据 产 
是 安全 的 ， 因 为 它 可 能 被 其 他 软件 攻击 ， 以 致 于 包含 恶意 数据 。 
许多 安全 事故 表明 ， 黑 客 会 构造 出 一 条 攻击 链 ， 将 多 个 软件 作为 
攻击 跳板 ， 以 攻陷 目标 软件 。 


数据 库 的 字段 往往 有 固定 的 长 度 ， 例 如 SQL Server 中 INT 是 32 位 ， 
BIGINT 是 64 位 ，NVARCHAR(20) 最 多 只 能 容纳 20 个 Unicode 字 符 
等 。 测 试 人 员 需 要 检查 同步 工具 写 入 的 数据 是 否 会 超过 字段 的 长 
度 ， 是 否 会 导致 存储 过 程 的 计算 发 生 错误 。 


。 阅读 Windows 服 务 和 IIS 网 站 的 代码 ， 并 构造 测试 用 例 。 


o 如 末 它 们 所 读 取 的 数据 库 包 含 错误 数据 ， 它 们 的 输入 检查 代码 能 
BAUR? 它们 能 否 将 错误 信息 用 合理 的 方式 报告 给 最 终 用 户 
和 系统 管理 员 ? 


数据 库 提供 了 符合 格式 和 范围 的 数据 ， 它 们 的 报表 计算 代码 是 否 
正确 ? 在 计算 过 程 中 会 不 会 产生 数值 淤 出 、 报 表 超 出 范围 、 排 版 
错误 等 问题 ? 报表 计算 代码 能 否 发 现 这 些 错误 ， 并 用 合理 的 方式 
报 给 最 终 用 户 和 系统 管理 员 ? 


它们 的 输出 检查 代码 能 否 正确 工作 ? 错误 的 数据 和 报表 会 不 会 传 
递 给 客户 端的 Silverlight 必 用 ? 这 些 被 污染 的 数据 会 不 会 破坏 客户 
端 应 用 ， 导 致 用 户 数据 丢失 ? 
它们 的 输入 检查 代码 能 否 正确 工作 ? 如 果 客 户 端 提交 了 恶意 数 
据 ， 数 据 库 会 不 会 被 算 改 ? 测试 人 员 不 应 该 假设 客户 端 程序 是 安 
全 的 ， 因 为 黑客 可 以 编写 一 个 程序 ， 伪 装 成 客户 端 应 用 向 IIS 网 站 
提交 HTTP 请 求 。 
。 阅读 客户 端 程序 代码 ， 并 构造 测试 用 例 。 

o 客户 端的 输入 包括 用 户 提交 的 数据 和 IIS 网 站 给 出 的 报表 。 

o 测试 人 员 检 查 用 户 提交 的 错误 数据 不 会 被 传递 给 IIS 网 站 ， 即 不 存 
在 从 用 户 到 网 站 的 污染 传播 路 径 。 这 通常 要 求 客户 端 程序 对 用 户 
的 输入 做 充分 的 检查 。 
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o 测试 人 员 检 查 IIS 网 站 给 出 的 报表 不 会 导致 客户 端 程序 朋 浇 或 其 他 
严重 问题 。 这 通常 要 求 客户 端 程序 有 足够 好 的 异常 处 理 功能 。 有 
时 ， 网 站 会 给 出 错误 的 报表 或 非常 复 洒 的 报表 ， 让 客户 剖 程 序 不 
能 完成 数据 展示 任务 。 此 时 ， 客 户 端 程序 应 该 妥当 地 结束 计算 ， 
并 向 最 终 用 户 报 告 错 误 。 


在 阅读 代码 的 过 程 中 ， 测 试 人 员 会 发 现 一 些 缺 陷 。 更 多 的 时 候 ， 他 会 发 现 
一 些 “ 感 觉 有 问题 ”的 代码 ， 但 并 不 能 确定 它们 一 定 存 在 缺陷 。 这 时 ， 他 可 
以 咨询 程序 员 ， 参 考 他 们 的 解释 和 推出， 但 应 该 保持 合理 的 怀疑 。 然 后 ， 

他 会 构造 测试 用 例 来 攻击 这 些 疑 似 有 问题 的 代码 ， 让 测试 结果 来 回答 心中 
的 疑问 。 对 于 测试 人 员 而 言 ， 阅 读 代码 的 主要 目的 不 是 代码 审查 (阅读 代 
码 所 发 现 的 缺陷 是 副产品 ) ， 而 是 发 现 所 有 的 测试 对 象 ， 以 避免 测试 遗 

漏 。 在 此 基础 上 ， 分 析 测 斌 对象 ， 构 造 有 针对 性 的 测试 想法 ， 提 高 测试 执 
行 的 效率 ， 才 是 代码 阅读 的 基本 出 发 点。 


713 ” 黑 盒 测试 并 不 是 基于 无 知 的 测试 


DUIS A i ea IV DART TU IS ZED aC DR FAN o 有 些 测试 人 员 认 
为 阅读 代码 不 利于 有 效 的 测试 ， 其 主要 见解 有 了 两 点 


第 一 ， 阅读 源 代 码 可 能 会 误导 测试 人 员 。 当 测试 人 员 阅 读 代 码 时 ， 他 有 可 
能 产生 “这 段 代码 看 上 去 没 问题 ?或 * 这 段 代码 变更 只 会 影响 模块 A” 等 看 法 。 
因为 软件 是 高 度 复杂 的 | 单纯 地 阅读 代码 不 和 准确 预测 其 运行 时 的 行为 ， 

所 以 测试 人 员 的 看 法 可 能 是 错误 的 。 如 果 他 根据 错误 的 想法 来 实施 测试 或 
认为 没有 必要 测试 ， 那 么 他 会 遗漏 一 些 原 本 可 以 发 现 的 缺陷 。 


第 二 ， 阅 读 源 代码 可 能 会 束缚 测试 人 员 的 思路 。 阅 读 源 代码 让 测试 人 员 的 
思维 方式 更 接近 程序 员 ， 从 而 形 失 了 墨盒 测试 的 重要 优势 : 测试 人 员 与 程 
序 员 的 思考 角度 不 同 ， 因 此 有 可 能 发 现 程序 员 所 遗漏 的 缺陷 [Kaner01] 
外 ， 黑 盒 测试 要 求 测试 人 员 理 解 软件 的 用 户 ， 用 他 们 的 视角 考察 软件 。 
有 助 于 交付 真正 有 价值 的 软件 ， 确 立 产 品 的 竞争 优势 。 局 限 子 代码 实现 的 
测试 思考 ， 将 错过 一 些 重要 的 测试 活动 和 产品 信息 ， 不 利于 提高 产品 质 


量 。 


我 认为 以 上 两 点 都 准确 描述 了 测试 人 员 只 依赖 源 代 码 进行 测试 的 风险 。 即 
BESO, DAV HIE es eS 主要 原因 有 以 下 
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第 一 ， 因 为 软件 是 高 度 复杂 的 ， 任 何方 法 都 不 能 获得 完整 的 产品 信息 ， 所 
以 测试 人 员 应 该 多 角度 地 研究 软件 ， 运 用 多 种 手段 去 调查 产品 的 质量 。 恰 


如 科学 家 不 会 刻意 排除 某 种 研究 方法 、 侦 探 不 会 故意 放 过 某 条 线索 ， 测 试 
人 员 也 不 该 先入 为 主 地 放弃 任何 一 种 调查 方法 。 


第 二 ， 源 代码 是 软件 产品 最 重要 的 文档 ， 提 供 了 许多 无 可 和 替代 的 产品 信息 
* 研究 源 代 码 和 软件 架构 能 够 帮助 测试 人 员 更 全 面 地 理解 产品 ， 从 而 设计 
出 有 针对 性 的 测试 。7.1.1 节 的 案例 说 明 ， 阅 读 源 代码 有 助 于 测试 人 员 理 角 
产品 ， 并 独自 调查 一 些 感 兴趣 的 主题 。7.1.2 节 的 案例 表明 ， 分 析 源 代码 可 
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第 三 ， 研 究 产品 实现 有 助 于 避免 测试 设计 的 缺陷 。 在 紧张 的 项 目 过 程 中 ， 
测试 人 员 可 能 会 犯 一 些 错 误 ， 例 如 测试 活动 没有 禾 盖 需要 测试 的 对 象 、 测 
试 方法 不 适合 产品 的 特征 、 测 试用 例 没 有 检查 重要 的 实现 细 世 等 。 因 此 ， 
测试 人 员 需 要 一 些 方法 来 评估 并 改善 测试 设计 。 阅 读 源 代码 帮助 测试 人 员 
建立 产品 的 实现 模型 ， 了 解 对 测试 设计 有 重要 影响 的 代码 细节 ， 可 以 有 效 
地 提高 测试 设计 的 质量 。 例 如 ， 在 一 轮 墨 盒 测 斌 后， 测试 人 员 搜 索 代 码 ， 
列 出 所 有 尚未 测试 的 入 口 点 。 这 些 入 口 点 说 明 移 前 的 测试 设计 存在 漏洞 ， 
他 需要 补充 设计 一 批 测试 用 例 来 覆盖 它们 。 


第 四 ， 降 低 代 码 阅读 的 风险 并 不 困难 。 代 码 阅 读 的 典型 风险 是 误导 测试 设 
计 和 约束 测试 人 员 思 维 。 好 的 测试 人 员 会 培养 出 从 多 个 角度 考察 产品 、 从 
多 个 信息 源 获 取信 息 的 习惯 ， 目 然而 然 瑟 降低 了 此 类 风险 。 此 外 ， 一 个 有 
帮助 的 局 发 式 规 则 是 : 阅读 代码 所 获得 的 “想法 ?只 是 一 种 “假说 "， 需 要 通过 
实验 (设计 并 运行 测试 用 例 ) 来 验证 。 在 阅读 代码 时 ， 测 试 人 员 会 对 代码 
产生 一 些 判 断 。 他 需要 提醒 自己 ， 这 些 观点 尚未 得 到 验证 ， 应 该 设计 测试 
来 检查 其 正确 性 。 这 样 束 将 代码 阅读 和 测试 设计 联系 在 一 起 ， 从 而 让 它们 
相互 文 持 、 彼 此 促进 。 


测试 专家 Cem Kaner 等 指出 “ 黑 盒 测试 并 不 是 基于 无 知 的 测试 ”。 测试 人 员 对 
产品 理解 得 越 好 ， 调 查 产 品 的 方式 越 多 ， 束 越 有 可 能 更 好 地 测试 
[Kaner01]。 阅读 源 代码 是 一 项 重要 的 技术 调查 方法 ， 可 以 为 测试 设计 提供 
想法 和 有 反馈， 与 其 他 测试 技术 一 起 运用 ， 能 够 帮助 测试 人 员 更 有 效 地 完成 
测试 任务 。 


7.2 ”动态 分 析 


动态 分 析 是 通过 运行 软件 来 研究 产品 实现 的 活动 。 昌 然 动 态 分 析 只 窗 益 了 
一 部 分 代码 执行 路 径 ， 它 能 评 细 检 查 产 品 在 这 些 路 人 径 上 的 状态 ， 对 于 理解 
特定 情景 和 设计 有 事半功倍 之 效 。 本 世 将 介绍 一 些 动态 分 析 技 术 在 测试 中 
的 应 用 。 


7.2.1 用 工具 分 析 产 品 的 行为 


深入 的 测试 要 求 测试 人 员 透 彻 地 了 解 软件 的 动态 行 为 。 一 种 常见 的 策略 是 
先 建立 产品 的 概念 杂 构 ， 从 安 观 上 理解 其 行为 ， 然 后 根据 测试 任务 深入 研 
完 它 的 细节 ， 并 产生 一 些 测 试想 法 。 在 此 过 程 中 ， 合 理 地 使 用 调试 和 诊断 
工具 可 以 提高 技术 调查 的 效率 。 本 下 将 讨论 一 组 测试 人 员 经 营 执 行 的 动态 
分 析 任务 ， 并 介绍 相关 的 分 析 方 法 和 技巧 。 


任务 1: 列 出 产品 所 加 载 的 动态 链接 库 


为 了 调用 程序 库 、 框 架 、 操 作 系 统 的 功能 ， 软 件 的 可 执行 程序 会 加 载 相 应 
的 动态 链接 库 。 查 看 产品 所 加 载 的 动态 链接 库 能 了 解 产 品 的 实现 技术 ， 为 
深入 的 测试 提供 线索 。 


例如 ， 测 试 人 员 小 张 为 了 更 好 地 理解 必 应 词典 桌面 版 6 《2.0 版 ) ， 使 用 
Process Explorer” 来 列 出 它 加 载 的 动态 链接 库 。 他 在 Process Explorer 中 选中 
必 应 词典 的 进程 BingDict.exe， 按 下 组 合 键 【Ctrl+D】 以 显示 该 进程 加 载 的 
动态 链接 库 。 他 上 点击“ 路径 ? 列 的 表 头 ， 让 动态 链接 库 列 表 按 照 其 路 径 排 

序 ， 获 得 如 图 7-14 所 示 的 结果 。 通 过 浏览 该 列表 ， 小 张 可 以 了 解 产 品 从 哪里 
加 载 动态 链接 库 ， 推 测 它们 的 用 途 ， 并 产生 相应 的 测试 想法 。 


| 6 http://www.ituring.com.cn/figures/2014/SoftwareTest/11.d07z.014.png ° 


| í http://technet.microsoft.com/en-us/sysinternals/bb896653.aspx ° 


Name Description Version Path 

tots! di Touch Keyboard and Handwriting Panel Text Ser... 629200.16433 C:\Program Files (86)\Common Files\Microsoft Shared\ink`tiptst di 

msado 15.di ActiveX Data Objects 6.29200 16384 C:\Program Files fk86NCommon Files \System\ado\msado 15.dl 

msadch 15.dl ActiveX Data Objects Rowset Helper 6.2.9200.16384 C:\Program Files 86)\Common Fies\System\ado\msadrh 15.di 

oledb32 di OLE DB Core Services 6.2.9200.16384 C:\Program Fies «86)\Common Files\System\Ole DB\cledb32 dil 

oledb 32 di OLE DB Core Services Resources 6.2.9200.16384 C:\Program Files («86)\Common Files\System\Ole DB\oledb32 di 

Bing Dict exe REMAR 2.0.0.17017 C:\Program Fies 86)\Microsoft Bing Dicionan\BngDict exe 

Def Mordi C:\Program Files &86)\WMicrosoft Bing Dictionary \Def Mordi 

mc100u dl MFCDLL Shared Library - Retad Version 10.0.40219.325 C:\Program Files &86)\Wicrosoft Bing Dictionary mic 100u.dl 

msvcp 100.di Microsoft® C Runtime Library 10.0.40219.325 C:\Program Files (<86)\Microsoft Bing Dictionary \msvcp 100.di 

msvcr100.di Microsoft® C Runtime Library 10.0.40219.325 C:\Program Files &86)\Wicrosoft Bing Dictionary \msver100.di 

NewWoedlistv 1 6Helper di C:\Program Files (86) Microsoft Bing Dictionary\New WordListy 1 6Helper di 
sqiceer35EN di Native Error Strings and Resources 3.5.8080.0 C:\Program Files (86)\Microsoft SQL Server Compact Edtion\w3.5\sqiceer35, 
sqicecledb35.di OLEDB Provider (32-8) 3.5.8080.0 C:\Program Fies (c86)\Microsoft SQL Server Compact Edtion\w3.5\sqiceoledb 
sdiceqp35.al Query Processor (32-52) 3.5.8080.0 C:\Program Files &86)\WMicrosoft SOL Server Compact Edition \w3.5\sqiceqp 35. 
sqicese35.dl Storage Engine (32-b2) 3.5.8080.0 C:\Program Fies (<86)\Microsoft SQL Server Compact Edtion \v3.S\sqicese35 


7-14 按 路 径 排 序 的 必 应 词典 的 动态 链接 库 (局 部 ) 


。 BingDict.exe 从 Ink 目 录 加 载 了 tiptsf.dll。 由 动态 链接 库 的 摘 述 可 知 ， 它 
与 触摸 键盘 和 手写 输入 有 关 。 这 提示 小 张 需 要 准备 一 台 具 备 触摸 屏 的 
计算 机 ， 以 测试 必 应 词典 能 否 完善 地 文 持 触摸 输入 。 


。 BingDict.exe 加 载 了 ADO、OLE DB ` SQL Server Compact Edition 相 关 的 
动态 链接 库 。 这 暗示 必 应 词典 会 访问 数据 库 。 从 软件 功能 的 角度 ， 必 
应 词典 的 “生词 本 ”需要 保存 和 读 取 大 量 数 据 ， 最 有 可 能 使 用 数据 库 。 
其 他 功能 只 需 存储 少量 数据 或 只 需 读 取 数 据 ， 都 不 需要 数据 库 的 文 
持 。 小 张 记 录 他 的 发 现 和 猜测 ， 以 便 稍 后 加 程序 员 询问 具体 实现 细 
T o 


因为 必 应 词典 使 用 数据 库 ， 小 张 目 然 想 到 了 一 些 测试 想法 ， 并 记录 如 
下 。 在 他 了 人 解 更 多 实现 细 市 后 ， 他 会 设计 并 执行 更 多 的 测试 。 


o 如 果 数 据 库 文件 丢失 或 损坏 ， 产 品 能 否 受 善 地 处 理 ? 


o 生词 本 的 词 条 有 没有 数量 的 限制 ? 如 条 有 限制 ， 上 限 是 多 少 ? 如 
果 没 有 限制 ， 大 量 的 词 条 会 不 会 导致 产品 性 能 下 降 ? 


o 生词 本 在 记录 词 条 时 ， 对 生词 的 长 度 有 没有 限制 ? 如 果 生 词 或 词 
组 的 长 度 超过 了 限制 ， 产 品 能 否 妥善 地 处 理 ? 在 数据 库 设计 上 ， 
还 有 没有 类 似 的 限制 ? 产品 又 如 何 处 理 超出 限制 的 情况 ? 


o 内 存 紧张 、 磁 盘 耗 尽 等 情况 可 能 导致 数据 库 读 写 操作 抛 出 异常 。 


产品 能 否 妥善 处 理 这 些 异 常 ? 


BingDict.exe 从 必 应 词典 的 安装 目 孙 加 载 了 一 些 动态 链接 库 ， 其 中 包括 
MFC 和 C 语 言 运行 库 的 动态 链接 库 。 这 暗示 必 应 词典 2.0 版 用 C/C++ 编 
写 ， 其 用 户 界 面 基于 MFC。 小 张 记录 该 发 现 ， 以 提示 目 己 在 今后 的 测 
试 中 关注 内 存 泄漏 、 缓 冲 区 溢出 、 惹 挂 指针 等 C/C++ 程 序 的 常见 问题 。 


然后 ， 小 张 点 击 “ 描 述 ” 列 的 表 头 ， 让 动态 链接 库 列表 按照 其 描述 排序 ， 获 
得 图 7-15 所 示 的 结 末 。 按 描述 浏览 动态 链接 库 ， 有 助 于 快速 发 现 相 关 的 组 
件 ， 即 便 它 们 位 于 不 同 的 目 孙 。 例 如 ， 图 7-15 显 示 必 应 词典 加 载 了 下 浏览 圳 
的 动态 链接 库 (ieframe.dll ` ieframe.dll.mui ` wininet.dll ` jscript.dll ` 
jscript9.dll) 。 对 此 ， 小 张 记录 了 一 组 测试 想法 。 


sechost.dil Host for SCM/SDDL/LSA Lookup APis 6.2.9200. 16384 C:\Windows \Sys WOW 64\sechost.dil 

ieframe.dil intemet Browser 10.0.9200.16519 — C:\Windows\SysWOW64 \ieframe.dil 

ieframe.dil mui intemet Browser 10.0.9200.16384  C:\Windows\SysWOW64\en-US \ieframe dil mui 
Intemet Extensions for Win32 10.0.5200.16519 C:\Windows\SysWOW64 \wininet dil 

IPHLPAPI.DLL IP Helper API 6.2.9200.16420 C:\Windows\SysWOW64\IPHLPAPI_DLL 

winmm dil MCI API DLL 6.2.9200, 16384 C:\Windows \Sys WOW 64 \winmm dil 

mic100u.dl MFCDLL Shared Library - Retail Version 10.0.40219,325 C:\Program Files («86)\Microsoft Bing Dictionary mfe 

mshtml dl Microsoft (R) HTML Viewer 10.0.9200.16525  C:\Windows\SysWOW64\mshtml dil 

iscript.di Microsoft © JScript 5.8.9200.16519 C:\Windows \Sys WOW 64 script .dl 

script 9.dil Microsoft © JScript 10.0.9200.16519 C:\Windows\SysWOW64\jscript9 dil 


图 7-15 按 描述 排序 的 必 应 词典 的 动态 链接 库 (局 部 ) 


。 当 前 计算 机 的 操作 系统 是 Windows 8， 必 应 词典 所 加 载 的 动态 链接 库 属 
于 IE10。 在 Windows 7 和 更 早 的 探 作 系统 上 ， 必 应 词典 能 否 正 确 加 载 
IE9、IE8、IE7 等 浏 蜗 器 的 动态 链接 库 ? 


。 在 欧洲 销售 的 Windows 系 统 不 预 朔 任何 浏览 郁 。 如 采 必 应 词典 不 能 加 载 
下 的 动态 连接 库 ， 它 能 否 正确 地 辐 用 户 报告 情况 ? 


。 在 默认 情况 下 ， 显 示 网 页 的 了 10 进 程 的 完整 性 级 别 是 低 ， 这 有 助 于 提 
高 操作 系统 的 安全 性 ， 并 保护 用 户 数据 。 然 而 ， 必 应 词典 的 进程 完整 
性 是 中 ， 这 会 不 会 市 来 安全 性 风险 ? 


在 分 析 动 态 链接 库 时 ， 测 试 人 员 还 需要 留意 以 下 情况 。 


。 产品 所 加 载 的 动态 链接 库 可 能 被 其 他 软件 所 使 用 。 当 升级 这 些 软件 
时 ， 动 态 链接 库 可 能 被 升级 到 更 新 的 版 本 。 如 有 果 新 版 本 的 动态 链接 库 
存在 回 后 兼容 的 缺陷 ， 被 测 产品 可 能 发 生 故 障 。 此 外 ， 番 载 这 些 软件 
可 能 删除 动态 链接 库 ， 从 而 导致 产品 不 能 正常 工作 。 测 试 人 员 需 要 找 
到 并 记录 这 批 动 态 链接 库 。 它 们 通 第 位 于 Windows 目 隶 下 ， 其 发 布 考 不 
征 微 软 公司 。 根 据 这 些 动态 链接 库 ， 测 试 人 员 可 以 定位 影响 它们 的 软 
件 ， 然 后 拟定 一 份 兼容 性 测试 计划 。 该 测试 会 检查 产品 与 这 些 软件 的 
A 
彼此 的 功能 。 


。 产品 会 在 执行 过 程 中 动态 地 加 载 或 印 载 动态 链接 库 。 测 试 人 员 可 以 用 
Windbg 等 工具 监视 产品 的 运行 ， 了 解 它 在 启动 之 后 义 加 载 了 哪些 动态 
链接 库 。 此 外 ， 在 执行 了 一 个 重要 的 操作 之 后 ， 测 试 人 员 可 以 用 
Process Explorer 观 察 产品 的 动态 链接 库 列 表 ， 发 现 新 增 的 动态 链接 库 。 
这 些 链接 库 通 常 与 之 前 的 操作 紧密 相关 ， 是 测试 该 操作 需要 考虑 的 因 


IAN 


任务 2: 列 出 产品 打开 的 文件 


为 了 实施 文件 漫游 (5.4.1 节 ) 、 基 于 文件 的 攻击 (5.5.3 节 ) 和 了 解 产 品 的 
行为 ， 测 试 人 员 需 要 分 析 产 品 会 使 用 哪些 文件 。 


例如 ， 测 试 人 员 小 张 使 用 Process Explorer 来 分 析 必 应 词典 桌面 版 所 打开 的 文 
件 。 他 在 Process Explorer 中 选择 进程 BingDict.exe， 按 下 组 合 键 【 Ctrl+H) 
ee o 他 浏览 如 图 7-16 所 示 的 文件 句柄 ， 获 得 了 一 些 测 
试 EY: i 


File C:\Program Files (<86)\Microsoft Bing Dictionary 


File C:\Program Files (86)\Microsoft Bing Dictionary\data\CN\CHS dat 

File C:\Program Files &86)\Microsoft Bing Dictionary \data \EN\ENG.dat 

File C:\Users\Liang \App Data \Local\ Microsoft \Windows\ Temporary Intemet Files \Content.IE5\4K2FYSFi\ad_bde[1].htm 

File C:\Users \Liang App Data \Local\\Microsoft \Windows\ Temporary Intemet Files Content .|E5\4K2FYSFi\clienthomepage[1] htm 
File C:\Users\Liang\App Data \Local\Microsoft \Windows\ Temporary Intemet Files Content IE5\4K2FYSFl\ehclinknew[1] htm 
File C:\Users \Liang \App Data \Local\Microsoft\Windows\ Temporary Intemet Files \Content.IE5\SAYZ12YC\clientsearch[4] htm 
File C:\Users\Liang\App Data \Local\Microsoft\Windows\ Temporary Intemet Files\counters dat 


图 7-16 ” 必 应 词典 的 文件 句柄 (局 部 ) 


e BingDict.exe 打 开 了 CHS.dat 和 ENG.dat。 从 文件 名 和 文件 路 径 推 测 ， 它 
们 是 中 文 词汇 和 数 英文 词汇 的 数据 文件 。 小 张 记录 该 发 现 和 推测 ， 以 
便 稍 后 向 程序 员 询 问 。 此 外 ， 他 还 记录 一 些 测 试想 法 : 如 果 数 据 文 件 
损坏 ， 必 应 词典 如 何 处 理 ? 如 果 数 据 文件 丢失 ， 必 应 词典 如 何 处 理 ? 
安装 程序 的 “修复 "功能 能 否 恢复 被 损坏 或 被 删除 的 数据 文件 ? 


。 BingDict.exe 打 开 了 下 临时 目 孙 中 的 一 些 网 页 。 之 前 的 分 析 显 示 ， 必 应 
词典 加 载 下 的 动态 链接 库 ， 所 以 小 张 推测 必 应 词典 会 调用 正 来 显示 这 
些 网 页 。 于 是 ， 他 用 正 来 打开 这 些 文件 ， 实 难 结 采 表 明 
clienthomepage[1].htm 就 是 必 应 词典 的 默认 主页 (参见 图 7-17) 。 这 提 
示 小 张 可 以 考虑 针对 网 页 的 测试 : 如 果 必 应 词典 收 到 错误 的 、 甚 至 恶 
意 的 网 页 ， 最 严重 的 后 果 是 什么 ? 如 果 必 应 词典 迟 迟 不 能 收 到 网 页 ， 


会 发 生 什 么 ? 会 不 会 出 现 只 有 一 部 分 网 页 被 显示 的 情况 ? 


8 微软 必 应 词典 


必 应 Bing 英语 


Zuckerberg Announces Immigration 
Reform Group in Op-Ed 
Facebook CEO Mark Zuckerberg waded further 
into the world of politics on Thursday with a 
Washington Post op-ed... 


Mashable 


文章 难度 : tee 
重点 单词 : 

wade [werd] 跋涉 , E 

luminary [lumi neri] 杰出 人 物 ; 名 人 
philanthropy [fr laen8rapi] =; 善心 


一 Mä 一 划 译 


图 7-17 FAG KRAZE H clienthomepage[1].htm 


任务 3: 分 析 程 序 之 间 的 协作 关系 


一 些 软 件 系统 包含 多 个 程序 ， 它 们 相互 协作 来 完成 任务 。 为 了 更 好 地 理解 
系统 ， 测 试 人 员 需 要 了 解 组 成 系统 的 程序 ， 并 分 析 它 们 之 间 的 关系 。 


例如 ， 测 试 人 员 小 张 点 击 必 应 词典 桌面 版 的 “ 取 词 ”( 该 命令 位 于 图 7-17 的 右 
PAA) ， 以 启动 屏幕 取 词 功能 。 随 后 ， 他 在 Process Explorer 中 发 现 ， 进 程 
BingDict.exe 启 动 了 子 进 程 WordCapture.exe， 后 者 义 启动 了 进程 
FuncServer_WDC_x64.exe (参见 图 7-18) 。 从 进程 的 名 字 推 测 ， 
WordCapture.exe 人 负责 取 词 功能 ，FuncServer_ WDC_x64.exe 处 理 64 位 进程 的 


取 词 。 
3 § BingDict exe “C:\Program Files &86)\Microsoft Bing Dictionary\BingDict exe” 
SI exe “C:\Program Files &86)\Microsoft Bing \WordCapture exe” {7A689DA4-209E-4A6D-8530-A9DA05B 1C05A) 
FuncServer_WDC_x6...|"C:\Program Files &86)\Microsoft Bing We + WOC_x64.exe" 


图 7-18 ” 必 应 词典 为 < 取 词 ”启动 子 进程 


然后 ， 小 张 再 次 点 击 “ 取 词 ”， 以 关闭 屏幕 取 词 功 能 。 他 用 Process Explorer 
现 ， 进 程 BingDict.exe 关 闭 了 进程 WordCapture.exe 和 
FuncServer _WDC _x64.exe。 为 了 了 了解 更 多 的 信息 ， 小 张 启动 Process 
Monitor® ， 接 着 再 次 执行 启动 屏幕 取 词 和 关闭 屏幕 取 词 的 操作 。 之 后 ， 他 
在 Process Monitor 中 按 下 组 合 键 【Ctrl+T】， 以 显示 进程 树 对 话 框 。 图 7-19 
是 该 对 话 框 的 局 部 ， 显 示 了 BingDict.exe 及 其 子 进程 的 生命 周期 。 该 图 显示 
了 这 些 进 程 的 开始 时 间 和 结束 时 间 ， 确 认 了 之 前 的 分 析 ， 即 BingDict.exe 在 
启动 屏 倍 取 词 时 创建 子 进程 ， 在 关闭 屏幕 取 词 时 结束 子 进程 。 


| 8 http://technet.microsoft.com/es-ar/sysinternals/bb896645 ° 


日 $ BingDict.exe (10760) 微软 必 应 词典 4/7/2013 2:07:05 PM n/a 
日 & WordCapture.exe (9244) Sy WordCapture 4/7/2013 2:09:41 PM = 4/7/2013 2:10:10 PM 
® * FuncServer_WDC_x64.exe (5224) az . 4/7/2013 2:09:45 PM = 4/7/2013 2:10:10 PM 
图 7-19 Process Monitor 显 示 了 进程 的 生命 周期 
基于 以 上 分 析 ， 小 张 记录 了 一 组 继续 调查 的 想法 。 


。 癌 程 序 员 了 解 BingDict.exe、WordCapture.exe 和 和 
FuncServer WDC _x64.exe 的 通信 方法 。 


。 分 析 WordCapture.exe 和 FuncServer_ WDC_x64.exe 加 载 的 动态 链接 库 。 


e 分析 WordCapture.exe 和 FuncServer_ WDC_x64.exe 打 开 的 文件 句柄 。 


。 测 试 对 64 位 进程 和 32 位 进程 的 取 词 。 


。 如 果 WordCapture.exe 朋 吝 ，BingDict.exe 会 如 何 处 理 ? 会 重启 该 进程 
吗 ? 


。 如 果 FuncServer_WDC_x64.exe 朋 浇 ，WordCapture.exe 会 如 何 处 理 ? 会 
重 局 该 进程 吗 ? 


。 如 果 WordCapture.exe 陶 入 死 循环 ，BingDict.exe 能 感知 该 情况 ， 并 作出 
合理 反应 吗 ? 


。 如果 FuncServer WDC_x64.exe 陷 入 死 循 环 ，WordCapture.exe 能 感知 该 
情况 ， 并 作出 合理 反应 吗 ? 


。 与 “ 取 词 ”并 列 的 “ 划 译 ”功能 会 让 BingDict.exe 局 动 子 进程 吗 ? 
。 必 应 词典 的 安装 目录 下 还 有 没有 其 他 可 执行 程序 ? 
任务 4: 分 析 客 户 端 与 服务 器 之 间 的 通信 


目前 ， 许 多 应 用 需要 访问 互联 网 资源 ， 需 要 与 服务 器 上 的 网 络 服 务 通信 。 

这 些 客户 端 应 用 可 能 是 网 络 浏览 器 中 的 HTML/JavaScript 程 序 ， 也 可 能 是 独 
立 运 行 的 软件 。 了 解 它 们 与 网 络 服务 的 通信 ， 将 帮助 测试 人 员 理 解 它 们 的 
运行 机 制 ， 并 从 网 络 通信 的 角度 产生 一 些 测试 想法 。 


例如 ， 测 试 人 员 小 张 使 用 Web 调 试 代理 Fiddler? 分 析 必 应 词典 桌面 版 (2.0 
版 ) 与 服务 器 的 通信 。 他 在 必 应 词典 的 查询 框 中 输入 单词 “rainbow”， 并 按 
下 回 车 键 。Fiddler 捕 获 了 必 应 词典 的 请 求 和 服务 器 的 啊 应 ， 其 结果 如 图 7-20 
所 示 。 小 张 发 现 第 一 条 会 话 的 数据 流量 较 大 的 ， 于 是 选中 该 会 话 ， 获 得 如 
图 7-21 所 示 的 请 求 和 啊 应 的 细 广 。 


9 http://www.fiddler2.com ° 


Result Protocol Host URL Body Caching Content-Type Process 
200 HTTP a@.bing.com /dict/dientsearch?mkt=zh-cisetLang=matchSform =6OVEHC Sq «rainbow 11,906 private text/html; c bingdct: 10760 


204 HTTP www.bing.com /dct/ds.espx7Type =Event.Cientinst O private bingdict: 10760 


Al 7-20 Fiddler 捕 获 的 必 应 词典 与 服务 器 的 通信 


| 的 Statistics H Inspectors Æ AutoResponder | =f Composer | 口 Fitters | El Log | | 二 Be 
Headers | TextView | [ WebForms | HexView | Auth | Cookies | Raw JSON XML 


| == 


Get SyntaxView | Transformer | Headers | TextView | ImageView | HexView [T webview Auth 


Caching | Cookies | Raw JSON | XML | 
Document is: 83669 bytes. 


rainbow 同义词 A 
US: [rein bou] UK: Į rein, bau] 
multicoloured 
$I 
(SB) 美妙 的 梦想 multicolored 
wns 
colourful 
五 彩 药片 药丸] 【一 种 巴 比 及 类 安眠 药 ] aa 
(=rainbow pill) colorfu 
i438 rainbows yes 
spectral 


polychromatic 


kaleidoscopic 


图 7-21 Fiddler 显 示 的 请 求 和 响应 


-7 小 张 了 7 解 了 必 应 词典 与 服务 器 通信 的 协议 ， 并 获得 了 一 些 
测试 起; 


。 必 应 词典 向 服务 器 (cn.bing.com/dict/) 提交 一 个 web 表单 ， 该 表单 包含 
用 户 查 询 的 单词 “rainbow”。 服务 器 的 响应 是 一 个 HTML 页 面 ， 该 页 面 
是 对 “rainbow” 的 解释 。 由 先前 的 分 析 可 知 ， 必 应 词典 会 调用 正 的 动态 
链接 库 来 显示 该 页 面 。 


。 在 实现 技术 上 ， 必 应 词典 2.0 版 与 1.7 版 有 显著 区 别 。 图 7-22 展 示 了 1.7 版 
的 请 求 和 响应 ， 其 中 所 查询 的 单词 是 software。1.7 版 发 送 的 请 求 是 一 个 
基于 XML 文档 的 SOAP 消 息 ， 包 含 被 查 询 的 单词 。1.7 版 接收 的 响应 也 

是 一 个 SOAP 消 息 ， 包 含 对 单词 的 解释 。 必 应 词典 需要 解析 该 XML 文 
档 ， 并 利用 Windows Form 技 术 来 显示 单词 解释 。2.0 版 在 提交 请 求 时 用 
表单 取代 了 SOAP 消 息 ， 在 处 理 啊 应 时 用 五 和 HTML 取 代 了 Windows 
Form 和 XML， 从 而 显著 地 提高 了 软件 的 性 能 


。 实现 技术 的 变化 暗示 项 目 团队 希望 必 应 词典 有 更 好 的 性 能 ， 因 此 需要 
执行 性 能 测试 来 检验 新 设计 是 否 提 高 了 性 能 。 重 点 测试 内 容 是 单词 查 
询 的 速度 ， 以 及 必 应 词典 对 计算 机 资源 的 占用 。 


。 从 测试 服务 器 的 角度 ， 如 果 必 应 词典 发 送 的 请 求 是 错误 的 ， 服 务 器 会 
作 何 响应 ? 


o 如 果 请 求 缺 少 一 些 必 要 的 参数 ， 服 务 絮 会 如 何 啊 应 ? 
o 如 果 请 求 包含 额外 的 参数 ， 服 务 器 会 如 何 响应 ? 


o 如果 请 求 提交 的 参数 值 包含 错误 (如 空 值 、 很 长 的 字符 串 、 非 法 
字符 等 ) ， 服 务 器 会 如 何 响应 ? 


©) statistics BWM Inspectors | Æ AutoResponder | 可 Composer | 口 Fiters | J Log | = Tmeine| 
Headers |[Textview | WebForms | HexView | Auth | Cookes | Raw | JSON | XML | 
<?xml version="1.0" encoding="utf-8"?><soap:Envelope 
mlns: soap="http://schemas. xmlsoap. org/soap/envelope/” xmlns:xsi="“http://wew. w3. org/2001/XMLSchena- 
instance” xmlns:xsd="http://www. w3. org/2001/XMLSchema" ><soap: Body><GetEditModeResult 
mlns="http://tempuri. org/” ><_App>056F67CB8 18341 149542777CFB9D3D87</_App><marketLang>zh-cn 
</marketLang><targetLang>en-us</t argetLang><query>Spageetas</ query><defCount >5</defCount > 


</GetEditModeResult ></ soap: Body></soap:Envelope> 
ras fs re rr RS Ca 加 


son |Pm | 
=} s:Envelope [ xmins:s=http://schemas.xmlsoap.org/soap/envelope/ ] 
E s:Body 
=} GetEditModeResultResponse [ xmIns=http://tempuri.org/ ] 
=} GetEditModeResultResult [ xmins:a=http://schemas.datacontract.org/2004/07/Lingo.Service.Response xmins 
=} a:LEX 
=) a:C_DEF 
=) a:SENS 
<a:DEF i:nil="true" xmins:i="http://www.w3.org/2001/XMLSchema-instance" xmins;a="http://s 
E a:POS 
na 
E- a:SEN 
=} a:SEN 


=} a:D 
(电脑 的 ) 软 件 , 软 设备 ;程序 设备 ;语言 设备 ;程度 系统 ;设计 电脑 方法 ;计算 程序 . 
R 


5-a: 
0 

<a:STS i:nil="true" xmins:i="http://www.w3.0rg/2001/XMLSchema-instance" xmins:a=" 

<a:URL i:nil="true" xmins:i="http://www.w3.0rg/2001/XMLSchema-instance" xmins:a="I 


i =} a:SENS — 
7-22 ” 必 应 词典 (1.7 版) 的 请 求 和 响应 


。 从 测试 必 应 词典 的 角度 ， 如 果 服 务 器 返回 的 响应 是 错误 的 ， 必 应 词典 
会 作 何 处 理 ? 


o 如 果 服 务 器 不 返回 响应 ， 必 应 词典 的 请 求 超时 是 多 长 ? 超时 后 ， 
必 应 词典 如 何 向 用 户 报告 错误 ? 


o 如 果 返 回 的 响应 不 是 合法 的 HTML 页 面 ， 必 应 词典 如 何 处 理 ? 


o 必 应 词典 调用 IE 来 显示 HTML 页 面 。 能 否 构造 一 个 HTML 页 面 ， 使 
得 显示 结果 或 显示 过 程 出 错 ? 


o 如 果 淡 客 动 持 了 啊 应 ， 它 能 否 利用 跨 站 点 脚本 攻击 等 手段 来 攻击 
HP? 必 应 词典 有 没有 对 返回 的 HTML 页 面 进行 必要 的 安全 性 检 


查 ? 
任务 5: 分 析 产 品 的 性 能 


在 测试 过 程 中 ， 测 试 人 员 需 要 留意 产品 的 性 能 问题 。 一 旦 发 现 某 个 操作 会 
导致 软件 反应 绥 慢 或 失去 啊 应 ， 他 束 应 该 对 该 操作 进行 性 能 分 析 。 所 获得 
的 信息 不 但 有 利于 策划 完整 的 性 能 测试 ， 也 有 助 于 及 时 解决 性 能 问题 。 在 
许多 时 候 ， 用 户 觉 得 产品 “很 慢 *， 并 不 是 因为 软件 的 所 有 操作 都 很 迟钝 ， 
而 是 一 些 关 键 操 作 反 应 缓慢 。 尽 早 地 发 现 主流 场景 中 的 缓慢 操作 ， 有 利于 
项 目 团队 制定 修复 计划 ， 调 整 软 件 设 计 来 优化 性 能 。 如 采 性 能 问题 在 项 目 
后 期 才 报告 ， 那 么 项 目 团队 很 可 能 没有 足够 的 时 间 来 实现 性 能 优化 。 


分 析 性 能 的 工具 很 多 ， 测 试 人 员 应 该 根据 测试 对 象 、 测 斌 任务、 期望 获得 
的 信息 ， 来 选择 合适 的 测试 工具 。 在 Windows 平 台 上 ，Windows 
Performance Monitor !° ~、 Windows Resource Monitor!! ~ Windows 
Performance Toolkit? 是 常用 的 性 能 分 析 工 具 。 在 日 常 测试 活动 中 ， 测 试 人 
员 可 以 利用 一 些 轻 量 级 的 工具 ， 做 快速 的 性 能 分 析 。 例 如 ， 我 最 常用 的 性 
能 分 析 工 具 是 跑 表 和 Process Explorer 。 


19 http://technet.microsoft.com/en-us/library/cc749249.aspx ° 
1 http://msdn.microsoft.com/en-us/library/windows/desktop/aa372266(v=vs.85).aspx ° 


12 http://msdn.microsoft.com/en-us/library/windows/desktop/hh162945.aspx ° 


在 测试 过 程 中 ， 如 采 我 发 现 一 个 操作 较 慢 ， 我 会 拿 出 跑 表 对 其 计时 。 跑 表 
简单 易 用 ， 能 够 快速 记录 一 个 操作 的 用 时 。 虽 然 它 不 适合 度量 快速 的 软件 
运算 ， 但 是 对 于 绝 大 多 数 用 户 可 感知 的 延迟 ， 它 能 够 提供 足够 精确 的 计时 
结 末 。 倘 大 我 认为 该 操作 的 迟缓 是 一 个 性 能 问题 ， 我 会 执行 操作 者 干 次 ， 

将 平均 用 时 写 入 缺陷 报告 。 对 于 缺陷 报告 而 言 , “执行 该 操作 5 次 ， 平 均 用 


时 15.5 秒 ， 最 长 用 时 17.2 秒 ” 比 “ 改 操作 反应 迟钝 ， 用 时 超过 10 秒 ”是 更 好 的 问 


题 搬 述 。 


除了 计时 ， 我 还 会 用 Process Explorer 监 视 进程 的 性 能 。 在 Process Explorer 


Hy 
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图 标签 页 ， 就 可 以 显示 该 进程 的 CPU、 内 存 、IO (输入 与 输出 ) 的 性 能 数 


据 。 


我 使 用 Microsoft Word 编 写本 书 的 文稿 ， 图 7-23 是 Process Explorer 记 录 


的 Word 保 存 本 书 文 档 的 性 能 图 。 分 析 该 图 ， 我 可 以 得 到 一 些 性 能 相关 的 事 
实 和 推测 。 


在 文档 保存 过 程 中 ，Word 的 CPU 使 用 率 的 峰值 是 259%。 峰 值 区域 大 致 
人 
时 间 很 忙碌 。 


测试 计算 机 的 CPU 有 4 个 内 核 ，25% 的 CPU 使 用 率 瞳 示 文 档 保存 操作 完 
全 占据 了 1 个 内 核 。 因 为 Word 使 用 UI 线程 保存 文档 ， 所 以 UI 线程 在 这 段 
时 间 忙 于 保存 操作 ， 不 能 啊 应 用 户 输入 。 对 于 用 户 而 言 ，Word 似 乎 失 
去 了 响应 ， 隐 于 “假死 状态。 如 果 该 状态 持续 几 秒 的 时 间 ， 用 户 就 会 
感到 烦躁 和 不 安 。 


在 文档 保存 过 程 中 ，Word 的 内 存 占用 有 一 定 的 提升 ， 说 明 保 存 文档 需 
要 额外 的 内 存 来 完成 任务 。 文 档 保存 结束 后 ，Word 会 释放 内 存 ， 但 是 
内 存 占用 量 并 没有 回 到 保存 之 前 的 水 平 。 通 常 ， 这 是 因为 程序 使 用 了 
缓存 技术 ， 一 些 被 缓存 的 内 存 并 不 会 被 立即 释放 。 不 过 ， 这 也 提示 我 
检查 多 次 保存 文件 是 否 会 持续 提高 内 存 占 用 量 ， 以 致 于 影响 到 Word 和 
计算 机 的 性 能 。 


在 保存 过 程 中 ，IO 有 很 大 的 波动 ， 其 峰值 出 现在 CPU 峰值 的 第 三 段 。 
这 暗示 CPU 峰值 的 前 两 段 是 在 准备 输出 ， 第 三 段 才 是 真正 地 将 数据 写 
入 硬盘 。 当 CPU 峰值 结束 后 ，IO 仍 有 几 次 较 大 的 波动 。 这 暗示 Word 调 
用 了 Windows 的 异步 输出 命令 ， 用 较 低 的 CPU 使 用 率 完 成 了 余下 的 输出 


任务 。 


在 提交 性 能 缺陷 时 ， 我 会 考虑 附 上 类 似 图 7-23 的 性 能 图 。 这 有 助 于 更 直观 地 
描述 软件 的 性 能 表现 ， 帮 助 程序 员 诊 断 性 能 问题 。 


t | Stri 
GPUGraph | Threads | 


192.3 MB 
1/0 


图 7-23 Word 保存 文档 的 性 能 图 


动态 分 析 产 品 的 方法 和 工具 是 多 种 多 样 的 。 本 市 仅 讨 论 了 少数 几 种 实践 方 
法 ， 更 多 的 分 析 技 术 和 工具 有 行 测 试 人 员 在 具体 的 测试 活动 中 探索 。 由 本 
节 的 讨论 不 难看 出 ， 合 理 地 使 用 工具 ， 可 以 快速 地 了 解 产 品 的 设计 ， 提 高 
与 程序 员 交 流 的 效率 ， 并 实施 更 有 效 地 测试 。 


7.2.2 ”在 调试 器 中 观察 软件 行为 
7.1 六 讨论 了 在 不 运行 软件 的 情况 下 通过 分 析 源 代码 来 理解 软件 设计 ，7.2.1 


节 介 绍 了 在 不 参考 源 代码 的 情况 下 通过 工具 来 了 解 软 件 实现 。 本 市 讨论 一 
T E A SR E eae 


软件 实现 往往 是 复杂 的 ， 静 态 地 阅读 代码 有 时 不 能 完全 掌握 软件 的 动态 行 
为 。 利 用 调试 絮 监 控 软 件 的 运行 ， 将 实际 执行 的 控制 流 、 数 据 流 和 源 代码 
结合 起 来 ， 能 够 更 快 地 理解 设计 ， 有 事半功倍 之 效 。 对 于 难以 理解 的 代 
码 ， 测 试 人 员 可 以 用 调试 器 设置 断 点 ， 在 程序 执行 命中 断 点 后 ， 用 单 步 执 
行 的 方式 来 观察 执行 语句 序列 和 变量 取 值 的 变化 。 这 样 能 获得 设计 的 细节 
信息 ， 为 进一步 的 探索 和 测试 提供 信息 。 


例如 ， 测 试 人 员 小 张 为 了 深入 了 解 NUnit 的 约束 ， 决 定 调试 单元 测试 用 例 
AllItemsAreNotNull 。 他 使 用 Visual Studio 2012 在 单元 测试 的 第 一 条 语 
句 设置 断 点 ， 然 后 运行 测试 ， 详 细 情 况 请 参考 图 7-24。 随 后 ， 他 单 步 执 行程 
序 ， 重 点 关注 表达 式 Is ,Not ,Nu1L1 、 构 造 画 数 AllItemsConstranit 
和 断言 本 数 Assert .That 的 实现 。 
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图 7-24 使 用 Visual Studio 调 试 NUnit 代 码 


在 单 步 执行 Is Not. Null 的 过 程 中 ， 小 张 阅读 了 属性 Not 、 属 性 Nul11 的 
实现 代码 ， 详 情 参见 图 7-25。 由 这 些 代 码 ， 他 了 解 到 Is Not .Null 会 返回 
一 个 约束 表达 式 对 象 ， 该 对 象 包含 Notoperator 和 Nu1L10perator 。 


/// <summary> 

/// Returns a ConstraintExpression that negates any 
/// following constraint. 

/// </summary> 

public ConstraintExpression Not 

{ 


get { return this.Append(new NotOperator()); } 


} 


/// <summary> 

/// Returns a constraint that tests for null 
/// </summary> 

public NullConstraint Null 


{ 
get { return (NullConstraint)this.Append(new NullConstraint()); } 


} 


/// <summary> 

/// Appends an operator to the expression and returns the 
// resulting expression itself. 

/// </summary> 

public ConstraintExpression Append(ConstraintOperator op) 


{ 
builder.Append(op) ; 
return (ConstraintExpression)this; 


} 
图 7-25 Is.Not.Null 的 实现 代码 (摘录 ) 


在 单 步 执 行 构造 画 数 Al1l1ItemsConstraint 的 过 程 中 ， 小 张 阅读 了 
AllItemsConstraint 的 父 类 PrefixConstraint 的 构造 函数 和 
ConstraintExpress.Resolve 的 实现 代码 ， 详 情 参 见 图 7-26。 这 些 代 
码 说 明 Al11ItemsConstraint 通过 调用 函数 Resolve 将 约束 表达 式 对 象 
(Is. Not. Null 的 返回 值 ) 转 化 为 约束 对 象 。 Resolve 的 实现 利用 操作 
符 栈 来 归并 生成 约束 对 象 。 该 设计 类 似 于 惰性 初始 化 ， 即 构造 约束 表达 式 
.Not .Null 时 并 不 生成 约束 对 象 ， 直 到 构造 具体 的 约束 对 象 时 ， 才 转换 


public class AllitemsConstraint : PrefixConstraint 


{ 


public AllItemsConstraint(Constraint itemConstraint) 
: base( itemConstraint ) 


{ 


this.DisplayName = "all"; 


} 


protected PrefixConstraint(IResolveConstraint resolvable) : base(resolvable) 


{ 


if ( resolvable != null ) 
this.baseConstraint = resolvable.Resolve(); 


public Constraint Resolve() 


{ 
if (!IsResolvable) 
throw new InvalidOperationException("A partial expression may not be resolved"); 


while (!ops.Empty) 
{ 


ConstraintOperator op = ops.Pop(); 
op.Reduce(constraints) ; 


} 


return constraints.Pop(); 


} 


图 7-26 AllItemsConstraint 的 构造 画 数 调用 
ConstraintExpress.Resolve 来 获得 Cconstraint TKR 


在 单 步 执行 Assert .That 的 过 程 中 ， 小 张 阅读 了 函数 That 和 
AllItemsConstraint.Matches 的 实现 代码 ， 详 情 参见 图 7-27。 断 言 函 
数 Assert .That 会 调用 ALL1ItemsConstraint .Matches 来 检查 传 入 的 
可 迭代 对 象 (在 当前 执行 的 单元 测试 中 该 对 象 是 一 个 数组 ) ， 而 
AllItemsConstraint.Matches 会 使 用 约束 (Is .Not .Null ) 来 检查 
可 迭代 对 象 所 以 返回 的 每 一 个 元 素 。 


static public void That(object actual，IResolveConstraint expression, string message, params object[] args) 
{ 
Constraint constraint = expression.Resolve(); 


Assert. IncrementAssertCount(); 

if (!constraint.Matches(actual)) 

{ 
MessageWriter writer = new TextMessageWriter(message, args); 
constraint.WriteMessageTo(writer) ; 
throw new AssertionException(writer.ToString()); 

= 

J 


} 
public override bool Matches(object actual) 
I 

this.actual = actual; 


if ( !(actual is Ifnumerable) ) 
throw new ArgumentException( “The actual value must be an IEnumerable", “actual” ); 


foreach({object item in (IEnumerable)actual) 
if (lbaseConstraint.Matches(item)) 
return false; 


Aj 7-27 Br aAssert.That 的 实现 


2A DA Evi arte, aK T AE T AR ATI E ERS SC BLBOK o BAA 
检查 所 有 的 约束 和 断言 代码 ， 但 是 他 根据 这 个 实例 能 够 体会 整体 的 设计 方 
案 和 具体 的 设计 模式 。 这 些 知识 能 帮助 他 举一反三 地 理解 相关 代码 ， 提 高 
未 来 的 静态 分 析 和 动态 分 析 的 效率 。 


通过 调试 来 理解 代码 之 所 以 高 效 的 一 个 原因 是 ， 调 试 过 程 使 代码 分 析 处 于 
一 个 具体 的 语 境 中 。 在 调试 中 ， 测 试 人 员 明 确 地 知晓 代码 的 输入 值 、 程 序 
的 状态 和 期 望 完成 的 任务 。 这 使 得 分 析 过 程 目标 清晰 、 语 义 明确 、 易 于 操 
控 。 此 外 ， 调 试 让 处 于 不 同 目录 和 文件 的 代码 按 代 码 执行 顺序 出 现在 测试 
人 员 眼 前 ， 这 帮助 他 在 更 大 的 范围 内 审阅 代码 ， 建 立 对 设计 的 整体 印象 。 


在 产品 研究 过 程 中 ， 静 态 分 析 和 动态 分 析 需 要 相互 支持 。 以 下 三 项 活动 通 
芝 征 迭代 进行 的 ， 并 没有 固定 的 执行 顺序 。 一 项 活动 所 获得 的 信息 会 指引 
另 一 项 活动 进行 更 深入 或 更 宽泛 的 调查 研究 。 
。 静态 地 分 析 源 代码 ， 以 理解 产品 设计 ， 并 产生 测试 想法 和 调查 目标 。 
。 使 用 工具 分 析 产 品 的 行为 ， 以 研究 产品 的 动态 行为 ， 并 产生 测试 想法 
和 调查 目标 。 


。 使 用 调试 器 等 工具 动态 地 分 析 源 代码 ， 以 理解 产品 设计 ， 并 产生 测试 
想法 和 调查 目标 。 


调试 器 的 另 一 个 常见 用 途 是 分 析 测 试 执 行 是 否 覆 盖 特 定 的 代码 。 例 如 ， 测 
试 人 员 需 要 测试 一 个 产品 补丁 。 为 了 检查 他 的 测试 用 例 可 以 履 盖 到 变更 的 
代码 ， 他 在 调试 器 中 启动 产品 ， 在 修改 处 设置 断 点 。 如 果断 点 被 命中 ， 他 
知道 测试 用 例 覆 盖 了 代码 变更 。 如 果断 点 没有 被 命中 ， 他 知道 测试 设计 有 
缺点 ， 需 要 改进 。 在 测试 过 程 中 ， 他 使 用 调试 器 $ 来 获得 测试 反馈 ， 从 而 快 
速 地 调整 测试 设计 ， 并 确保 覆盖 所 有 被 修改 的 代码 。 典 型 的 代码 覆盖 率 分 
析 要 求 代 码 插 桩 和 禾 盖 率 分 析 工 具 ， 对 于 补丁 测试 等 任务 可 能 不 够 方便 。 
使 用 调试 器 可 以 快速 分 析 少 量 代码 的 测试 覆盖 率 ， 在 一 些小 规模 的 测试 任 
务 中 可 以 发 挥 好 的 作用 。 


7.3 ”业务 研究 


语 境 驱动 测 斌 认为， 产品 是 一 种 解决 方案 。 如 果 问 题 没 有 被 解决 ， 产 品 就 
是 无 用 的 。[ContextDrvienTesting12]。 为 了 更 好 地 测试 ， 测 试 人 员 需 要 理解 
产品 的 业务 需求 (有 签 解 决 的 问题 ) ， 并 分 析 产 品 设计 如 何 满 足 业 务 需 求 
(产品 所 给 出 的 解决 方案 ) o 本 节 介绍 一 组 研究 业务 ` 需求、 规约 和 设计 
的 方法 ， 以 帮助 测试 人 员 更 好 地 实施 测试 。 


7.3.1 ”理解 关系 人 

关系 人 是 软件 的 利益 相关 者 ， 包 括 软 件 产品 的 购买 者 、 使 用 者 、 开 发 者 、 
维护 者 、 销 售 者 、 管 理 者 等 。 表 7-2 列 举 了 典型 的 软件 天 系 人 和 他 们 对 软件 
质量 的 期 望 。 

表 7-2 典型 的 软件 关系 人 


对 软件 质量 的 期 望 


He ODE > SN Ot 


软件 的 人 


用 
户 


客户 是 购买 软件 的 入。 对 于 个 人 用 | 客户 希望 软件 可 以 帮助 团队 实现 业务 目标 。 除 

Re eae 看 重 的 质量 属性 外 ， 客 户 会 重视 软件 的 
企业 用 户 ， 通 常 是 业务 主管 批准 软 、 可靠 性 、 和 售后 支持 等 

和 购买 申请 或 签订 软件 开发 合同 ] 靠 性 、 售 后 支持 等 


对 软件 质量 的 期 望 


He ODE > SN otk 


中 ，IT 管 理 员 负 责 部 署 、 升 | IT 管理 员 希 望 软件 可 以 方便 地 部 署 与 维护 ， 
` 配置 和 维护 企业 所 使 用 的 软件 | 视 软 件 的 易 部 署 性 、 可 监控 性 、 安 全 性 等 


ee X -发 人 员 希 望 软件 提供 稳定 FA 
多 软件 提供 编程 接口 ， 人 允许 [充分 的 文档 。 。 他 们 还 希望 、 


2 ENS ASS 级 时 ， 编 程 接口 可 以 向 后 兼容 


BO > RBH St | 


程序 员 是 编写 软件 包 程序 员 希 望 软件 代码 简洁 、 容 易 理解 ， 设 计 灵 
EF DL re A tA 活 、 可 重 构 ， 架 构 清晰 、 可 扩展 


测试 人 员 希 望 软件 拥有 可 测试 性 ， 能 够 方便 地 
测试 人 员 是 测试 软件 的 人 控制 软件 的 行为 、 观察 它 的 状态 和 输出 - 易于 
编写 自动 化 测试 、 易 于 审计 和 追踪 


理 人 员 和 希望 软件 可 以 达成 项 目 团队 的 业务 目 
管理 人 员 是 管理 软件 开发 其 示 ， nn 本 、 人 恰当 的 进 
Fz, Ke 次 


对 于 互联 网 应 用 ， 运 维 人 员 维 护 在 | SITEA A, 运 维 
系统 署 性 、 易 升级 性 、 可 监控 


=n > SS ii 


ries 支持 
个 二 
tE D j AN ae fF? 8 5 

7 现 问题 时 ， 2 i 足够 多 的 诊断 信息 
有 易 用 的 报 法 ， 以 便于 调试 和 修复 


对 软件 质量 的 期 望 


关 
系 
人 
类 
型 


销售 人 员 希 望 软件 有 足够 的 卖点 ， 从 而 在 激烈 
"a 中 可 以 脱颖而出 ， 重 视 软件 的 能 力 和 鬼 


Hl 


B 不 同 的 人 对 于 软件 的 质量 属性 有 不 同 的 期 望 ， 表 7-2 只 讨论 了 几 种 典型 的 质量 属性 。 有 关 质 量 
性 的 更 详细 讨论 请 参考 3.2.9 节 和 4.2.1 节 。 


为 了 让 软件 产品 获得 成 功 ， 项 目 团队 需要 理解 软件 关系 人 的 类 型 ， 设 定 为 
他 们 服务 的 优先 级 ， 使 所 开发 的 产品 以 恰当 的 优先 级 满足 他 们 的 需求 。 对 
于 测试 人 员 而 言 ， 他 需要 用 天 系 人 的 视角 考察 软件 ， 针 对 他 们 的 需求 提供 
软件 的 质量 信息 。 

3.2.8 TIT T The Test Eye 发 布 的 “37 个 测试 想法 来 源 *[TheTestEye12]。 这 篇 
文档 提示 测试 人 员 从 以 下 5 个 方面 思考 “关系 人 ”， 以 产生 测试 想法 。 


。 用户 : 分 析 使 用 软件 产品 的 不 同类 型 的 用 户 ， 了 解 他 们 对 软件 的 期 
望 、 需 要 完成 的 任务 、 所 具备 的 技能 水 平 、 使 用 软件 的 语 境 等 信息 。 
这 帮助 测试 人 员 多 角度 地 考虑 产品 的 使 合 和 任务 ， 并 建立 有 代表 性 
的 “用 户 角色 ” (参见 5.6.2 市 ) 


质量 特性 : 分析 产品 需要 重点 支持 的 质量 特性 ， 并 拟定 测试 策略 来 检 


车 这些 特性 


产品 灵 惯 :了解 关系 人 对 产品 的 忧虑 ， 发 现 他 们 真正 担心 的 事情 。 将 
这 些 忧虑 转换 为 测试 想法 ， 以 指导 具体 的 测试 活动 。 


Bs ee een aan heise eee 
“TJ o 


领域 信息 : 了 解 关 系 人 的 领域 信息 ， 包 括 他 们 要 解决 的 业务 问题 、 使 
用 软件 的 环境 、 和 常 面临 的 困难 等 《参见 7.3.5 节 ) 。 通 过 访谈 、 会 议 、 
和 
RUIZ ° 


解 产品 ， 并 产生 多 样 化 的 测试 想法 。 以 下 是 一 些 实践 要 


。 在 项 目 之 初 ， 测 试 人 员 并 不 深刻 地 理解 产品 和 项 目 。 此 时 ， 分 析 关 系 
人 的 目标 是 大 至 理解 产品 的 远景 和 功能 ， 了 解 最 重要 的 关系 人 ， 以 及 
他 们 最 重视 的 情景 和 质量 特性 。 基 于 这 些 知识 ， 测 试 人 员 会 获得 一 批 
测试 想法 ， 为 深入 测试 英 定 基础 。 


随 着 项 目 进 展 ， 测 试 人 员 会 逐渐 掌握 更 多 的 产品 知识 和 业务 知识 。 他 
将 这 些 知 识 放 入 关系 人 的 语 境 ， 用 关系 人 的 视角 推 襄 产品 ， 从 而 产生 
一 些 刹 的 测试 想法 。 因 为 这 些 测试 想法 参考 了 关系 人 的 情景 和 期 望 ， 
所 以 能 够 更 加 真实 地 检验 产品 在 用 户 环境 中 的 表现 。 


在 软件 发 布 后 ， 测 试 人 员 会 陆续 收 到 一 些 来 自用 户 的 缺陷 报告 。 他 需 
要 分 析 为 什么 测试 活动 没有 捕获 到 这 些 缺 陷 ， 并 了 解 用 户 发 现 它们 的 
o 这 些 知 识 有 助 于 他 更 好 地 理解 产品 和 用 户 ， 以 准备 未 来 的 测 
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在 测试 实践 中 ， 吃 狗 食 ， 即 大 规模 内 部 使 用 ， 是 一 种 从 软件 使 用 者 的 角度 
获取 产品 质量 信息 的 方法 。 所 谓 “ 吃 目 己 的 狗 食 ”是 指 软 件 项 目 团 队 在 日 常 
工作 中 使 用 自己 开发 的 产品 [WikipediaDogfooding13]。 例 如 ， 微 软 的 
Windows 团 队 会 使 用 开发 中 的 Windows 系 统 。 团 队 成 员 定期 将 新 版 本 的 系统 
安 痰 在 目 己 的 计算 机 上 ， 将 它 作 为 工作 平台 ， 完 成 编码 、 测 试 、 协 作 等 所 
有 工作 。 叉 例如 ， 合 歌 公司 的 员工 会 安 净 最 新 版 的 Chrome 浏 览 侨 ， 用 它 网 
络 冲浪 ， 以 提供 第 一 时 间 的 质量 反馈 。 在 浏览 器 经 历 了 足够 的 内 部 使 用 
后 ， 他 们 会 发 布 公开 版 本 给 外 部 用 户 使 用 [Whittaker12] 。 


内 部 使 用 是 一 项 很 有 价值 的 开发 实践 ， 它 可 以 在 许多 方面 提高 开发 过 程 和 
软件 产品 的 质量 。 


。 因为 大 量 员工 使 用 产品 ， 所 以 内 部 使 用 可 以 发 现 许 多 小 组 测试 难以 发 
现 的 缺陷 。 例 如 ，Windows 团 队 有 数 千 名 员工 ， 他 们 在 使 用 Windows 系 
统 时 ， 会 利用 多 种 多 样 的 硬件 设备 ， 安 装 形形色色 的 软件 ， 以 通 然 不 
oo 。 这 有 助 于 发 现 一 些 特殊 配置 和 特殊 操作 才能 暴露 
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因为 使 用 者 在 利用 产品 完成 实际 任务 ， 所 以 内 部 使 用 有 助 于 发 现 一 些 
真实 情景 所 暴露 的 缺陷 。 现 实 世界 是 非常 复杂 的 ， 用 户 使 用 软件 的 方 
式 和 需要 处 理 的 数据 往往 超 乎 测试 人 员 的 想象 。 大 规模 的 使 用 让 软件 
经 受 真实 世界 的 考验 ， 有 助 于 发 现 一 些 “ 极 端 情况 ”(〈 有 时 用 户 的 “常见 
情景 "可 能 是 软件 设计 的 “极端 情况 ”) 中 所 暴露 的 缺陷 。 


在 测试 过 程 中 ， 测 试 人 员 需 要 持续 思考 这 些 因素 。 JA M PARE DAE SEAT HR 


内 部 使 用 让 整个 研发 团队 参与 到 质量 反馈 过 程 中 ， 让 每 个 人 都 可 以 提 
交 缺 陷 和 建议 ， 从 而 潜移默化 地 提高 了 团队 的 质量 意识 。 因 此 ， 有 经 
AA AD aS oA IB a BAB EA, He DL PE Sh te AA 
软件 、 提 交 缺 陷 和 建议 。 


内 部 使 用 要 求 员工 安装 尚未 发 布 的 最 新 版 本 的 软件 ， 这 潜在 要 求 软件 

的 大 部 分 构建 达到 “可 用 ”的 标准 ， 不 存在 频繁 裔 溃 、 工 作 流 中 断 等 严 

重 的 缺陷 。 项 目 团队 应 该 将 该 要 求 视 为 质量 改进 的 动力 ， 用 多 种 方法 

ee eee eee 
9 缺陷。 


内 部 使 用 对 软件 开发 过 程 提出 了 更 高 的 要 求 。 项 目 团队 需要 持续 地 构 
建 出 足够 好 的 产品 ， 用 恰当 地 方式 将 软件 推送 给 内 部 用 户 ， 实 现 故 障 
诊断 工具 以 目 动 地 收集 软件 骨 浇 、 进 程 死 锁 等 闻 重 问题 ， 提 供 方便 的 
渠道 让 内 部 用 户 提交 缺陷 和 建议 ， 建 立 缺 陷 分 拣 流 程 让 用 户 提 交 的 问 
题 得 到 调查 和 修复 。 为 了 达成 这 些 目 标 ， 项 目 团 队 和 需要 付出 额外 的 努 
力 ， 其 成 采 是 更 流畅 的 开发 过 程 、 更 迅速 的 质量 反馈 循环 。 


由 以 上 讨论 可 知 ， 内 部 使 用 需要 整个 项 目 团 队 的 支持 ， 并 对 开发 流程 和 软 
件 技术 提出 了 相应 的 要 求 。 在 此 过 程 中 ， 测 试 小 组 的 典型 任务 包括 用 自动 
化 测试 监控 构建 的 质量 、 安 装 并 使 用 软件 、 提 交 缺 陷 、 复 现 他 人 提 区 的 缺 
陷 、 提 供 更 多 的 质量 信息 等 。 从 理解 用 户 的 角度 ， 测 试 人 员 在 使 用 软件 的 
时 候 ， 除 了 关注 软件 崩溃 、 功 能 失常 等 明显 缺陷 外 ， 还 需要 分 析 软 件 在 用 
户 情景 中 的 表现 。 在 使 用 软件 完成 日 常 工作 时 ， 他 会 主动 使 用 软件 的 高 级 
功能 和 高 级 设置 ， 并 演 试 用 多 种 方式 来 操作 软件 。 经 过 一 段 时 间 的 “把 

人 
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内 部 使 用 的 潜在 问题 是 项 目 团队 成 员 通 党 不 是 最 终 用 户 ， 或 不 能 代表 所 有 
的 用 户 ， 所 以 内 部 使 用 仍 有 可 能 会 错过 一 些 明 显 的 缺陷。 例如 ， 微 软 Office 
团队 内 部 使 用 开发 中 的 Office 套 装 ， 虽 然 有 数 千 人 使 用 Microsoft Word， 但 
是 该 过 程 仍 存在 以 下 不 足 。 


。 微软 的 工作 语言 是 英语 ， 所 以 员工 之 间 用 英文 文档 和 邮件 进行 交流 。 
内 部 使 用 对 英语 文档 、 英 文 输入 、 英 语 版 Word 有 和 较 好 的 覆盖 ， 但 古 并 
没有 很 好 地 履 盖 到 多 语言 文档 、 多 语言 输入 、 加 载 语言 包 的 Word、 非 
英语 版 Word 等 情况 。 考 虑 到 Office 套 装 文 持 数 十 种 语言 、 面 向 全 球 市 
场 ， 单 纯 的 内 部 使 用 并 不 能 满足 国际 化 测试 的 要 求 。 


。 微软 员工 所 编写 的 大 多 是 商业 备 环 未 、 规 格 说 明 、 设 计 方 案 、 测 试 计 
划 等 技术 性 较 强 、 篇 幅 较 短 的 文档 ， 它 们 没有 和 覆盖 许多 重要 的 文档 类 


型 和 排版 需求 。 例 如 ， 科 研 工作 者 撰写 的 学 术 论文 要 求 精确 的 排版 ， 
并 包 人 台大 量 的 数学 符号 、 数 学 公式 、 岁 、 表 、 交 叉 引 用 、 参 考 文献 等 
元 素 。 领 域 专家 编写 的 学 术 专著 可 以 视 为 大 部 头 的 学 术 论 文 (EPH 
的 专著 并 不 罕见 ) ， 其 篇 幅 给 Word 的 易 用 性 和 性 能 提出 了 挑战 。 


。 许多 企业 和 开发 者 基于 Word 提 供 的 API 纺 写 了 大 量 的 安 应 用 和 Word 捕 
件 。 微 软 的 内 部 使 用 不 能 覆盖 这 批 补 广泛 使 用 的 应 用 和 插件 。 


为 了 弥补 内 部 使 用 在 获 盖 率 上 的 不 足 ， 许 多 软件 团队 会 发 布 外 部 试用 的 Beta 
版 本 ， 从 而 更 广 泌 地 收集 产品 的 质量 反馈 。 不 过 ， 测 试 小 组 并 不 能 完全 依 
赖 外 部 试用 来 发 现 软 件 缺 陷 。 他 们 应 该 评估 已 执行 测试 和 内 部 使 用 的 覆盖 
范围 ， 然 后 针对 特定 用 户 角色 设计 一 些 专项 测试 。 例 如 ，Word 的 测 话 小 组 
可 以 考虑 如 下 测试 活动 。 


。 测试 小 组 邀请 母语 不 是 英语 (如 中 文 、 日 语 、 西 班 牙 语 等 ) 的 员工 参 
与 为 期 一 天 的 国际 语言 测试 。 测 试 组 织 者 提供 测试 指南 ， 让 测试 参与 
者 使 用 母语 编写 一 份 包含 指定 内 容 元 素 (如 表格 、 图 片 、 艺 术 字 、 起 
链接 等 ) 的 文档 。 测 试 参 与 者 使 用 母语 配合 其 他 语言 编写 文档 ， 利 用 
各 种 困难 的 任务 来 挑战 软件 。 这 样 的 测试 活动 可 以 在 项 目 周 期 中 实施 
数 次 ， 以 扩大 测试 所 履 盖 的 语言 和 文档 类 型 。 


。 测试 小 组 安排 测试 人 员 针 对 特定 的 用 户 角 色 和 文档 类 型 进行 测试 。 例 
如 ， 一 名 测试 人 员 扮 演 数学 教授 ， 编 写 一 篇 数学 论文 ， 同 时 另 一 名 测 
试 人 员 扮 演 维基 百科 的 编辑 ， 编 写 一 个 名 人 的 词 条 。 测 试 组 织 者 需要 
Ee Gr A 
来 检查 软件 。 


总 之 ， 研 究 关 系 人 是 为 了 更 好 地 理解 软件 的 使 命 ， 通 过 提供 质量 信息 来 提 
高 软件 对 于 关系 人 的 价值 。 为 此 ， 测 试 人 员 需 要 识别 重要 关系 人 ， 用 “ 同 理 
心 ” 去 理解 他 们 的 目的 和 需求， 并 将 相关 知识 运用 于 测试 实践 。 


7.3.2 ”评审 需求 文档 


软件 需求 包括 项 目 团队 记录 的 显 式 需求 和 没有 被 正式 记载 的 隐 式 需求 。 测 
试 人 员 需 要 关注 这 两 种 需求 ， 才 能 做 好 测试 工作 。 需 求 文档 通 前 是 显 式 需 
求 最 主要 的 载体 ， 值 得 测试 人 员 认 真 研究 。 本 世 介 绍 一 些 分 析 需 求 文档 的 
方法 和 技巧 。 

在 许多 项 目 团队 ， 典 型 的 开发 流程 是 产品 经 理 编写 需求 文档 ， 来 概述 关系 
人 对 产品 的 需求 ， 并 详细 定义 产品 的 功能 和 特性 。 之 后 ， 程 序 员 根据 需求 
文档 编写 设计 文档 ， 测 斌 人员 参 考 需 求 文档 和 设计 文档 编写 测试 计划 。 因 


a 需求 文档 评审 是 测试 设计 的 重 
要 环节 


了 从 需求 文档 中 获得 尽 可 能 多 的 价值 ， 测 试 人 员 需 要 “以 输出 A BIN 
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人 妨 维 ， 让 测试 人 员 更 积极 地 研究 需求 文档 ， 从 而 提高 评审 效率 。 对 于 大 多 
数 需求 文档 ， 测 试 人 员 可 以 参考 如 下 结果 来 驱动 需求 文档 评审 。 


。 需求 文档 的 缺陷 。 

产品 的 测试 模型 。 

测试 想法 和 值得 调查 的 疑问 。 

驱动 力 1: 评审 需求 文档 需要 发 现 需 求 文档 的 错误 或 不 足 


MAA Bi ASO, APE ACMA lel e Aa, the 
与 产品 经 理 讨论 这 些 问 题 ， 让 错误 得 到 修正 ， 让 误解 得 到 淤 清 。 如 琳 必 
要 ， 他 会 将 一 些 问 题 提 交 为 文档 缺陷 。 


大 于 如 何 批判 性 地 阅读 文档 ，Mortimer J. Adler 和 Charles Van Doren 的 经 典 名 
著 《 如 何 阅 读 一 本 书 》 提 供 了 些 很 好 的 建议 [Adler72] ° 测试 人 员 可 以 参 
考 “ 结 构 一 主张 一 评估 ”的 阅读 步骤 ， 来 评审 需求 文档 。 


批判 性 阅读 的 第 一 步 是 了 解 文档 的 结构 和 主旨 。 测 试 人 员 快 速 地 浏览 

档 ， 获 得 对 文档 的 整体 印象 ， 为 深入 阅读 建立 知识 结构 。 对 于 一 篇 十 几 页 

的 文档 ， 快 速 阅读 只 需要 十 分 钟 的 时 间 ， 基 本 态度 是 “不 求 甚 解 ”， 
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。 摘要 “。 大 部 分 需求 文档 在 开头 综述 了 要 解决 的 问题 、 要 达成 的 目标 。 
阅读 此 类 摘要 性 的 文字 可 以 立即 了 解 文档 的 讨论 重点 。 


章节 标题 。 标 题 概述 了 章节 的 内 容 ， 标 题 的 层级 关系 表达 了 内 容 之 间 
T a 浏览 标题 让 测试 人 员 了 解 文档 论述 了 什么 ， 以 及 用 什么 
结 论述 。 


目标 和 非 目标 。 许 多 文档 模板 提供 了 “目标 和 非 目 标 ” 一 节 ， 让 文档 反 
写 者 陈述 该 文档 需要 解决 的 问题 和 不 会 涉及 的 问题 。 阅 读 该 节 有 助 于 
测试 人 员 了 解 文档 的 主旨 。 


图 。 许多 文档 用 图 描述 了 模块 设计 > 系统 结构 、 人 机 界面 等 重要 信 
已 。 而 且 , “一 图 胜 千言 *"， 图 可 以 用 一 目 了 然 的 方式 传达 大 量 的 信 
息 。 读 图 能 够 帮助 测试 人 员 用 较 短 时 间 把 握 整 体 设计 和 必要 细节 。 


。 代 码 示例 。 一些 涉及 实现 细 市 的 需求 文档 会 给 出 代码 片段 。 阅 读 这 些 
代码 可 以 快速 了 解 目标 代码 的 设计 风格 和 实现 策略 。 


阅读 需要 目标 ， 才 能 避免 * 过 目 即 系 ”。 人 快速 阅读 的 主旨 是 搜索 文档 最 重要 
的 信息 ， 并 整理 出 它们 的 关系 。 在 此 过 程 中 ， ake ne 
oe 即便 快速 阅读 不 能 提供 完整 的 答案， 它们 也 为 后 续 的 评审 提 
六 日 ° 


。 这 篇 文档 的 目标 读者 是 谁 ? 

。 这 篇 文档 代表 了 哪些 关系 人 的 利 荃 

。 这 篇 文档 要 解决 什么 问题 ? 要 达成 什么 目标 ? 

。 这 篇 文档 提出 了 怎样 的 解决 方案 ? 

。 这 篇 文档 有 什么 样 的 结构 ? 哪些 部 分 征 评审 的 重点 ? 


过 快速 阅读 ， 测 试 人 员 已 经 掌握 了 文档 的 结构 ， 知 晓 哪 些 部 分 是 重点 
。 在 批判 性 阅读 的 第 二 个 阶段 ， 测 试 人 员 会 仔细 阅读 重点 a 分 析 文 
入 的 论点 、 论 据 和 主张 其 中 ， 阅读 的 基本 技术 是 组 织 和 总 


组 织 是 识别 出 需求 文档 陈 诉 的 事实 、 推 朵 、 设 计 、 决 定 等 要 点 ， 总 结 是 将 
ee ee 这 要 求 测试 人 员 从 需求 文档 中 抽取 信 
E, EDF, AIRE ` 更 精炼 的 信息 表示 。 该 步骤 是 一 个 信息 转 
换 的 过 程 ， 测 试 人 员 应 该 忠 实 于 需求 文档 。 他 可 以 标注 出 目 己 的 疑问 和 新 
想法 ， ERARA RCNA. 


EMRA REA RU 。 为 了 组 织 文档 中 的 素材 ， 他 会 一 边 阅 

读 ， 一 边 用 手中 的 笔 批 注 文档 。 他 会 用 蛋 光 笔 标 记 出 重要 的 文字 ， 用 签字 

笔 在 段落 旁边 总 结 出 段落 主 于 ， 或 批注 自己 的 观点 。 一 些 助 记 符号 可 以 提 

高 标注 的 速度 ， 例 如 用 惊叹 号 “! ”代表 重要 的 信息 ， 用 问号 “? “表示 有 疑问 

oe eel 他 扫描 标记 的 文字 和 目 己 的 笔记 ， 整 理 出 关键 信 
HR R i 


一 种 常见 的 阅读 方法 是 利用 文字 处 理 软 件 ， 使 用 软件 的 功能 来 高 之 文字 
和 加 入 批注 。 有 些 团 队 将 文档 存放 在 共享 的 服务 器 上 ， SSIES AAD 


it 


员 都 可 以 读 到 这 些 高 亮 文 字 和 批注 。 此 外 ， 测 试 人 员 可 以 同时 启动 思维 导 
图 软件 或 笔记 软件 ， 让 它 的 窗口 与 文档 窗口 并 排放 置 ， 从 而 方便 地 将 信息 
从 需求 文档 搬运 到 思维 导 图 、 功 能 列表 、 状 态 图 等 模型 中 。 这 样 ， 测 试 人 
员 可 以 一 边 阅 读 文 档 ， 一 边 建立 测试 模型 。 


经 过 重点 阅读 ， 测 试 人 员 应 该 能 够 回答 第 一 阶段 所 列举 的 问题 。 如 有 果 还 存 
在 疑问 ， 这 可 能 暗示 需求 文档 存在 不 足 ， 没 有 讨论 基本 的 问题 。 另 一 种 可 
能 是 测试 人 员 对 产品 和 业务 缺少 必要 的 知识 ， 疝 不 能 完整 地 理解 需求 文 
档 。 对 于 后 一 种 情况 ， 测 试 人 员 可 以 疝 产 品 经 理 或 测试 伙伴 请 教 ， 并 补充 
学 习 一 些 产 品 知 识 。 在 某 种 意义 上 ， 评 审 需求 文档 也 是 评估 测试 人 员 自 身 
知识 的 机 会 ， 他 应 该 利用 该 机 会 来 提高 知识 储备 。 


在 批判 性 阅读 的 第 三 个 阶段 ， 测 试 人 员 评 价 和 批评 文档 的 内 容 。 在 实际 阅 
读 过 程 中 ， 测 试 人 员 完 全 可 以 在 第 二 阶段 束 质 疑 文档 ， 并 指出 它 的 错误 或 
不 足 。 第 三 个 阶段 让 测试 人 员 站 在 全 局 的 高 度 ， 反 思 整 篇 文档 ， 并 推 斋 细 
帮 。 对 于 一 些 比较 复杂 的 软件 产品 ， 这 样 的 思考 有 助 于 获得 更 好 的 理解 、 
发 现 更 深层 次 的 问题 。 以 下 是 一 些 常 见 的 思考 点 。 


。 在 论证 时 ， 文 档 所 提供 的 证 据 是 否 正 确 ? 如 果 文 档 所 依赖 的 证 据 是 错 
误 的 ， 那 么 其 推论 势必 存在 问题 。 测 试 人 员 需 要 质疑 需求 文档 的 基本 
证 据 。 例 如 ， 文 档 陈 诉 的 用 户 情景 是 人 否 真 实地 反映 了 用 户 的 期 望 ? 文 
档 对 工作 流程 所 施加 的 业务 规则 是 必须 的 吗 ? 文档 所 依赖 的 论据 十 事 
实 ， 还 是 文档 作者 的 假设 ? 


在 论证 时 ， 文 档 所 提供 的 证 据 是 否 充分 ? 考虑 不 周 是 需求 文档 的 典型 
问题 。 当 需求 文档 遗漏 了 一 些 因 素 ， 软 件 设计 很 可 能 不 能 应 对 真实 世 
界 的 挑战 。 测 试 人 员 需 要 尽力 思考 各 种 可 能 性 ， 以 及 早 发 现 此 类 问 
题 。 例 如 ， 文 档 所 提供 的 用 户 角色 具有 代表 性 吗 ? 有 没有 重要 的 用 户 
角色 被 遗 漏 ? 文档 所 陈述 的 用 户 情景 履 盖 了 所 有 典型 情景 吗 ? 如 果 只 
覆盖 了 部 分 情景 ， 那 么 没有 讨论 的 情景 对 软件 设计 有 何 影 响 ? 需求 文 
e cae eu, wales gins pee 
9 异常 吗 ? 


在 论证 时 ， 文 档 的 推理 过 程 正确 吗 ? 对 事实 的 错误 解读 会 导致 错误 的 
结论 。 测 试 人 员 需 要 关注 论证 过 程 的 逻辑 错误 。 例 如 ， 产 品 经 理 分 析 
在 线 系 统 的 日 志 ， 获 得 了 用 户 行 为 数据 ， 然 后 建立 了 用 户 行为 模型 ， 
并 导出 了 新 的 软件 设计 。 对 此 ， 测 试 人 要 需要 检查 用 户 行 为 数据 是 否 
典型 、 该 数据 能 否 代 表 主 流 用 户 的 行为 、 对 数据 的 解读 是 否 恰当 、 所 
建立 的 模型 是 否 正确 、 模 型 能 否 导出 男 一 种 不 同 的 设计 等 问题 。 


Ts 


文档 是 否 清晰 地 阐述 了 用 户 需 求 ， 并 明确 地 描述 了 软件 设计 的 目标 ? 
论述 含糊 不 请 是 需求 文档 另 一 个 典型 问题 。 如 采 程 序 员 错误 地 理解 了 
需求 ， 他 会 设计 出 有 缺陷 的 软件 ;如 果 测 试 人 员 错 误 地 理解 了 需求 ， 
他 的 测试 活动 将 遗漏 一 些 重 要 的 缺陷 。 测 试 专家 Richard Bender 对 基于 
需求 的 测试 有 长 期 的 积 姥 ， 他 的 文 草 《 卜 义 评审 过 程 》 (The Ambiguity 
Review Process 14) 提出 了 一 个 精炼 的 卜 义 检查 列表 ， 以 及 一 组 容易 引 
发 履 义 的 词汇 列表 [Bender07]。 虽 然 他 的 靶 义 词汇 列表 仅 提 供 英 文 词 
汇 ， 但 是 测试 人 员 很 容易 将 其 较 换 为 中 文 词汇 。 基 于 这 些 评审 参考 资 
料 ， 测 试 人 员 可 以 逐渐 发 展 出 目 己 的 检查 列表 和 词汇 列表 ， 从 而 实现 
更 高 效 地 检查 。 


文档 的 所 设 定 的 目标 、 所 要 解决 的 问题 、 所 提出 的 方案 是 否 真正 实现 
了 关系 人 的 利益 ? 具体 而 言 ， 测 试 人 员 可 以 思考 关系 人 的 利益 何 

在 ? 实现 目标 可 以 最 大 化 关系 人 的 价值 吗 ? 存在 其 他 有 价值 的 目标 

吗 ? 需要 解决 的 问题 是 关系 人 最 关心 的 吗 ? 所 提出 的 方案 能 够 高 效 地 
解决 问题 吗 ? 是 否 存 在 更 好 的 礁 代 方案 ? 当前 的 方案 存在 哪些 风险 ? 
需求 文档 有 没有 提出 相应 的 风险 缓解 方法 ? 


14 http://www.benderrbt.com/Ambiguityprocess.pdf ° 
驱动 力 2: 测试 人 员 通 过 批判 性 阅读 建立 的 测试 模型 


除了 发 现 需 求 文档 的 问题 ， 批 判 性 阅读 会 重新 组 织 原文 档 的 信息 ， 以 获得 
面 回 测试 的 产品 模型 。 这 不 但 帮助 测试 人 员 更 好 地 理解 文 要 ， 也 为 今后 的 
测试 提供 了 支持 材料 。 不 同 内 容 的 需求 文档 会 得 到 不 同 的 测试 模型 ， 一 份 
需求 文档 也 可 能 导出 多 个 测试 模型 。 在 阅读 上 时， 测试 人 员 需 要 积极 地 思考 
eee 并 动手 实践 。 以 下 是 一 些 常见 的 测 
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功能 列表 (参见 3.2.4 节 ) 。 测 试 人 员 从 需求 文档 中 识别 出 功能 点 ， 将 
筷 们 组 织 成 功能 列表 。 在 此 过 程 中 ， 测 试 人 员 会 推 殴 功 能 点 之 间 的 隶 
属 关 系 ， 并 尝试 构造 出 一 份 脉络 清晰 、 逻 辑 合 理 的 层次 列表 ， 即 将 文 
字 信 息 重 构 为 树 形 结构 的 信息 框 保 。 该 过 程 不 但 帮助 测试 人 员 梳 理 文 
档 内 容 ， 还 为 功能 测试 的 测试 计划 提供 了 基础 素材 。 


质量 特性 列表 (参见 3.2.9 节 ) 。 测 试 人 员 用 质量 特性 列表 (如 

[TheTestEye11]) 来 检查 文档 。 他 识别 需求 文档 明确 提 到 的 质量 特性 
(如 能 力 、 安 全 性 、 兼 容 性 等 ) ， 作 为 测试 想法 的 来 源 。 同 时 ， 他 发 
掘 产品 应 该 具有 但 是 需求 文档 没有 记录 的 质量 特性 。 有 时 ， 产 品 经 理 
会 认为 某 些 特性 是 “不 言 目 明 ”的 ， 为 了 让 需求 文档 简 涪 明了 ， 他 没有 


予以 讨论 。 但 是 ， 程 序 员 可 能 会 忽视 这 些 特性 ， 使 得 产品 设计 不 能 汪 
足 他 们 的 要 求 。 有 时 ， 产 品 经 理会 因为 疏忽 或 缺少 经 验 而 遗漏 一 些 重 
的 质量 特性 。 对 于 这 些 情况 ， 测 试 人 员 需 要 提出 需求 文档 应 该 考虑 
的 质量 特性 ， 并 提交 给 项 目 团 队 共同 讨论 。 


Google ACC (参见 3.2.2 节 ) 。 在 知晓 产品 的 功能 和 质量 特性 后 ， 测 试 
人 员 可 以 用 Google ACC 模 型 来 整理 信息 。 他 用 表格 来 组 织 属 性 、 功 
能 、 组 件 这 三 方面 的 信息 ， 从 而 洞察 产品 特性 和 产品 元 素 之 间 的 联 
系 。 绘 制 表格 的 过 程 是 测试 计划 的 过 程 ， 表 格 是 测试 计划 的 成 果 ， 为 
进一步 的 测试 设计 葛 定 了 基础 。 


启发 式 测试 策略 模型 HTSM (参见 4.2.1 节 ) 。HTSM 是 一 个 结构 化 

的 、 可 定制 的 参考 模型 ， 包 括 产 品 元 素 、 项 目 过 程 、 质 量 标准 、 测 试 
技术 等 方面 。 在 信息 覆盖 上 ，HTSM 是 功能 列表 、 质 量 特性 列表 和 
Google ACC 的 超 集 。 对 于 复杂 的 产品 ， 测 试 人 员 可 以 将 思维 导 图 形式 
的 HTSM 《如 图 7-2825 Pras) 作为 信息 架构 ， 将 需求 文档 的 信息 逐步 填 
入 思维 导 图 。 在 阅读 过 程 中 ，HTSM 思 维 导 图 好 似 探索 指南 ， 指 引 测 试 
人 员 发 掘 特定 方面 的 信息 ， 最 终 的 成 果 是 一 幅 多 角度 描述 产品 的 地 
图 。 虽 然 单纯 地 阅读 文档 并 不 能 构建 完整 的 HTSM， 但 是 测试 人 员 仍 旧 
可 以 用 它 产 生 许多 好 的 测试 想法 。 测 试 人 员 可 以 将 这 些 想法 加 入 思维 
导 图 ， 使 之 成 为 产品 信息 和 测试 想法 的 混合 


输入 与 输出 模型 (参见 4.2.2 节 ) 。 一 些 文档 会 详细 描述 产品 或 模块 的 
输入 、 输 出 和 计算 逻辑 。 对 此 ， 测 试 人 员 可 以 建立 输入 与 输出 模型 ， 
以 梳理 输入 和 输出 之 间 的 关系 。 在 此 过 程 中 ， 测 试 人 员 需 要 分 析 文 档 
征 否 遗漏 了 重要 的 输入 和 输出 参数 ， 征 否 完整 地 思考 了 输入 检查 、 异 
常 处 理 、 错 误 报 告 等 问题 。 


系统 生态 图 (参见 4.2.3 节 ) 。 对 于 部 署 在 多 台 计 算 机 或 拥有 多 个 进程 
的 软件 系统 ， 测 试 人 员 可 以 绘制 系统 生态 图 ， 以 描述 系统 部 署 的 拓扑 
结构 、 与 外 部 环境 的 通信 方式 和 子 系 统 之 间 的 联系 。 即 便 某 些 文档 提 
供 了 相似 的 图 ， 从 测试 视角 重新 绘制 一 遍 并 加 入 相应 的 测试 想法 ， 对 
于 文档 理解 和 测试 计划 仍旧 大 有 神 益 。 


实体 关系 模型 (参见 4.2.4 节 ) 。 如 果 理 解 产 品 需要 掌握 一 组 业务 对 象 
的 关系 ， 无 论 产 品 是 否 使 用 数据 库存 储 业 务 数 据 ， 测 试 人 员 都 可 以 考 
虑 用 实体 关系 模型 来 辅助 理解 。 基 于 实体 关系 模型 ， 测 试 人 员 不 但 能 
够 获得 测试 想法 ， 还 可 以 检查 模型 中 实体 和 关系 的 一 致 性 ， 从 而 发 现 
需求 文档 的 缺陷 。 


RE 


(参见 4.2.5 节 ) 。 如 果 需 求 文档 描述 了 产品 的 工作 流 、 状 
态 变 迁 、 约 束 规 则 等 信息 ， 测 试 人 员 可 以 建立 状态 机 模型 ， 以 描述 软 
件 状态 、 状 态 变迁 以 及 在 特定 状态 下 的 约束 规则 。 有 了 时， 产品 经 理 用 
文字 、 列 表 等 形式 描述 复 洒 的 业务 规则 。 因 为 规则 非常 复杂 ， 测 试 人 
员 很 难 完全 理解 ， 以 致 于 忽视 了 其 中 隐藏 的 问题 。 用 状态 图 表达 状 

仿 、 变 迁 和 约束 ， 能 够 以 更 直观 的 方式 表达 业务 规则 。 这 帮助 测试 人 
员 更 好 地 理解 细 方 ， 从 而 发 现 一 些 业 务 设计 上 的 深层 次 问题 。 


该 网 页 提供 了 许多 测试 相关 


15 图 7- oe wee //www.ministryoftesting.com/resources/mindmaps/ ° 
的 思维 导 图 ， 值 得 测试 人 员 参 考 。 


本 


HTSM 


at will be the need tor retesting? 


leases of the product 


图 7-28 思维 导 图 形式 的 HTSM 
驱动 力 3: 测试 人 员 利用 需求 文档 来 建立 技术 调查 的 目标 ， 并 激发 测试 想法 
批判 性 阅读 和 构建 测试 模型 都 可 以 产生 高 质量 的 测试 想法 o 与 此 同时 ， 测 


试 人 员 还 可 以 利用 文档 来 “核对 ”产品 的 行为 。 在 阅读 文档 时 ， 他 标记 出 文 
档 对 产品 的 陈述 ， 然 后 针对 每 一 项 陈述 设计 测试 。 以 下 是 一 些 第 见 的 测试 


想法 [Kanerl1][Hendrickson13] ° 
。 设 计 攻 击 性 的 测试 用 例 ， 尝 试 让 软件 行为 不 符合 需求 文档 的 陈述 


”利用 条 件 分 析 设 计 测 试用 例 ， 以 检查 产品 在 不 同情 景 下 的 表现 。 假 
需求 文档 要 求 在 线 词 典 “ 在 用 户 键入 单词 时 ， 显 示 相 应 的 查询 建 

。 对 此 ， 测 试 人 员 可 以 设计 一 组 测试 : 如 果 用 户 在 键入 单词 时 ， 服 
务 器 没有 这 回 相 心 的 查 询 建 议 给 浏览 器 ， 用 户 会 观察 到 什么 ? 如 果 用 
户 键入 了 没有 意义 的 字符 串 ， 服 务 器 返回 空 的 查询 建议 ， 用 户 会 观察 
到 什么 ? 如 果 用 户 键入 词组 甚至 语句 ， 服 务 器 会 返回 什么 结果 ， 用 户 
会 观察 到 什么 ? 


改变 陈述 中 的 参数 值 ， 使 用 不 同 的 数据 、 配置 、 和 情景 来 测试 产品 。 假 

设 需求 文档 要 求 软件 “能 够 打开 、 编 辑 并 保存 服务 器 上 的 共享 文档 ”。 
从 文档 读 写 的 角度 ， bike A SILAS. ARTE. CRT ` 
被 编辑 的 内 容 、 共 同 编辑 文档 的 人 数 等 。 测 试 人 员 需 要 针对 每 个 参数 
设计 测试 用 例 ， 以 测试 典型 情况 、 边 界 情况 、 异 常情 况 等 。 


测试 陈 诉 所 隐 合 的 要求。 例如 , “能 够 打开 、 编 辑 并 保存 服务 器 上 的 共 
SCE bE on Je OSE EURE 。 这 通常 意味 着 软件 应 
该 拒绝 无 权限 的 用 户 访 问 文 档 ， 并 提供 必要 信息 帮助 他 申请 “只 

读 ? 或 “编辑 ?权限 ;软件 应 该 允许 拥有 "只 读 ” 权 限 的 用 户 读 取 文 档 ， 但 
苯 止 他 编辑 文档 ; dire eh eee 并 随 
时 撤销 授权 。 测 试 人 员 应 该 考虑 这 些 情景 ， 并 设计 测试 用 例 。 


。 设计 测试 用 例 以 测试 当前 陈 诉 和 与 之 相关 的 陈述 ， 通 过 同时 覆盖 多 个 
模块 、 功 能 、 情 景 来 发 现 设计 的 不 一 致 之 处 。 


ee ee ee ee 
文档 的 陈述 。 软 件 需要 交付 用 户 价值 ， 在 具体 的 情景 中 考查 需求 陈述 
和 软件 行为 有 助 于 发 现 一 些 需 求 和 设计 的 缺陷 。 


在 开发 和 测试 的 过 程 中 ， 产 品 的 需求 和 设计 可 能 发 生变 化 。 特 别 是 ， 在 软 
件 投入 测试 和 试用 后 ; 项 目 团队 会 收 到 许多 用 户 反 馈 。 为 了 修复 缺陷 或 优 
化 用 尸体 验 ， 产 品 经 理 和 程序 员 常 党 做 出 设计 变更 。 随 着 产品 演化 ， 产 品 
设计 可 能 不 再 符合 需求 文档 的 描述 。 为 了 避免 产品 错失 了 产品 人 研发 的 “ 初 
训 ”*， 测 试 人 员 可 以 在 产品 基本 定型 后 再 次 “核对 ”需求 文档 和 产品 。 他 一 边 
阅读 文档 ， 一 边 按照 文档 描述 来 测试 产品 。 其 基本 目的 是 检查 产品 是 否 满 
足 需 求 文档 的 陈述 ， 发 现 测试 遗漏 和 过 时 的 陈述 。 ovals 
测试 人 员 可 以 提交 文档 缺陷 ， 要 求 产 品 经 理 进 行 修订 。 另 一 种 注重 实效 的 
方法 是 ， 测 试 人 员 高 亮 出 不 再 成 立 的 描述 ， 并 加 上 批注 ; “这 段 描 还 不 再 成 
立 ， 当 前 行为 请 参考 软件 版 本 : 2.0.1224.1225。” 最 后 将 批注 后 的 文档 或 文 
档 地 址 发 送 给 项 目 团 队 。 


在 评审 需求 文档 的 过 程 中 ， 测 试 人 员 会 产生 一 些 测试 想法 ， 也 会 产生 一 些 
值得 探索 的 疑问 。 测 试 专家 Elisabeth Hendrickson 建 议 用 测 程 主题 来 记录 这 
些 测 试想 法 和 探索 对 象 ， 以 便 为 测试 活动 的 组 织 与 安排 提供 基础 
[Hendrickson13]。 如 3.2.13 节 所 介绍 的 ， 测 试 人 GOT LABS Hendricksonde tx 
的 模板 “使 用 < 资源 >， 探索 < 对 象 > 以 求 发 现 < 信 息 >” 来 编写 测 程 主题 。 在 
需求 评审 中 ， 测试 人 员 可 以 根据 产品 和 文档 的 特点 来 选择 模板 参数 的 值 o 
以 下 是 一 些 常 用 的 选择 思路 。 
© 探索 < 对 象 >: 
o 产品 的 一 个 功能 。 
o 产品 的 一 个 组 件 或 子 系统 。 
o 产品 的 一 项 质量 特性 。 
。 使 用 < 资源 >: 
o 重要 的 用 户 角 色 。 
o 实现 用 户 价值 的 使 用 情景 。 
o 挑战 < 对 象 > 能 力 的 使 用 情景 。 
o 与 < 对 象 > 有 协作 关系 的 功能 、 组 件 、 外 部 系统 等 
o < 对 象 > 所 依赖 和 处 理 的 数据 、 资 源 、 配 置 等 。 
。 发 现 < 信息 >: 
o 产品 是 否 交 付 了 关系 人 期 望 的 价值 ? 
产品 是 否 实 现 了 需求 文档 所 承诺 的 质量 特性 ? 
o 产品 的 行为 是 否 符合 需求 文档 的 定义 ? 
o 产品 的 行为 是 否 符合 测试 模型 的 摘 述 ? 
在 模板 的 提示 下 ， 测 试 人 员 可 以 快速 地 记录 测 程 主题 ， 例 如 “使 用 < 最 近 一 
个 月 的 广 且 数据 >， 探索 < 产品 的 计算 吞吐 量 >， 以 检查 < 需求 文档 所 要 求 的 


oe 征 否 实现 >”\“ 以 < 网 购买 家 的 身份 >， 探 索 < 在 线 商 城 的 退货 功 
E>, 以 了 解 < 订单 的 生命 周期 是 否 满 足 现 有 的 状态 机 模型 >”。 这 再 次 说 


明 ， 需 求 评 审 的 过 程 也 是 测试 计划 的 过 程 ， 其 产 出 不 但 是 更 好 的 的 产品 理 
解 ， 还 包括 更 好 的 测试 计划 。 


本 市 针对 需求 文档 介绍 了 一 些 文档 评审 和 测试 分 析 的 方法 。 其 实 ， 它 们 也 
苹 基 于 规约 的 测试 的 常见 方法 ， 能 够 应 用 于 其 他 项 目 文档 的 评审 。 在 项 目 
过 程 中 ， 测 试 人 员 应 该 积极 收集 任何 对 产品 设计 和 测试 有 帮助 的 文档 ( 规 
格 说 明 、 设 计 文 档 、 用 户 手册 、 广告 文宣 等 ) ， 通 过 批判 性 阅读 来 逐步 完 
善 对 产品 的 理解 ， 并 产生 的 有 针对 性 的 测试 想法 。 


7.3.3 ”通过 测试 来 研究 


软件 测试 是 一 种 研究 产品 的 基本 方法 。 例 如 ，4.2.2 世 讨论 了 通过 测试 来 收 
集 产品 信息 ， 以 构造 测试 模型 ，5.4.4 节 讨论 了 使 用 漫游 测试 来 学 习 产品 、 
调查 情况 和 检测 风险 。 实 际 上 ， 每 当 测试 人 员 对 产品 或 业务 产生 疑问 时 ， 
他 都 可 以 考虑 使 用 测试 来 实施 技术 调查 ， 以 获得 线索 和 答案 。 本 世人 介绍 一 
些 常见 的 测试 调研 方法 。 


方法 1: 侦察 测 程 


测试 专家 James Bach 和 Jonathan Bach 兄 弟 提出 了 ”侦察 测 程 > 的 概念 。 当 他 们 
测试 一 款 新 产品 时 ， 他 们 会 安排 一 个 或 几 个 侦察 测 程 ， 以 快速 调查 产品 的 
情况 。 在 一 个 视频 中 ， 他 们 展示 了 如 何 快速 旦 多样 地 实施 侦察 测 程 
[Bach09]。 其 中 ， 测 斌 对象 是 一 个 按钮 形状 的 玩具 ， 当 按钮 被 按 下 时 ， 它 会 
发 出 “That was easy” 的 声音 。 在 20 分 钟 的 测试 过 程 (视频 将 整个 过 程 浓 缩 为 
4 分 钟 ) 中 ，James 兄 弟 使 用 了 一 组 测试 方法 。 


声明 测试 。 他 们 阅读 玩具 包 效 盒 上 的 文字 ， 检 查 产 品 的 行为 是 否 符 合 
其 声明 ， 并 和 芝 试 从 文字 中 获得 测试 灵感 。 


o 他 们 阅读 产品 帮助 ， 了 解 产 品 的 正常 使 用 情景 和 预期 行 


功能 测试 。 他 们 用 快乐 路 径 测试 检查 了 产品 的 基本 功能 ， 用 状态 转换 
测试 检测 了 按钮 按 下 和 弹 起 触发 的 状态 变迁 。 


产品 分 析 。 他 们 拆 印 了 产品 ， 分 析 它 有 哪些 部 件 、 部 件 有 何 作用 、 部 
件 之 间 如 何 连 接 ， 从 而 推测 产品 的 工作 机 制 。 此 外 ，James Bach 提 到 搜 
人 它 可 以 帮助 测 试 人 员 快 速 了 解 产 品 信息 和 
目 关 知识 。 


。 情 景 测试 。 他 们 构思 了 一 组 现实 情景 来 考验 产品 ， 如 产品 从 桌子 上 共 
落 、 产 品 被 一 堆 杂 物 压 住 、 产 品 被 液体 淋 湿 、 产 品 被 反复 锤 击 等 。 这 
些 测试 对 产品 具有 一 定 的 破坏 性 ， 但 反应 了 实际 可 能 遭遇 的 情况 。 


。 可 用 性 测试 。 他 们 把 玩 产 品 ， 体 验 其 触感 ， 聆 听 其 声音 。 通 过 测试 结 
果 评 佑 ， 获 得 了 对 产品 的 第 一 手印 象 。 


。 压力 测试 。James Bach H TREE J RGS m, BAR ESNE ERE o 


在 测 程 中 ，James 兄 弟 使 用 了 多 种 测试 方法 ， 从 多 个 角度 侦察 产品 ， 获 得 多 
个 方面 的 信息 。 多 样 化 的 测试 不 但 较 全面 地 评 信 了 系统 ， 还 帮助 他 们 机 动 
地 应 对 痢 信 息 ， 以 驱动 深入 的 调查 。 这 提示 测试 人 员 应 该 掌握 多 样 化 的 测 
ee ne eee 
9 测试 结果 。 


不 同 的 研究 任务 需要 不 同 的 研究 策略 。 当 测试 人 员 加 入 一 个 项 目 ， 他 需要 
尽快 了 解 产 品 的 基本 情况 。 因 此 ， 其 研究 抹 略 倾 辐 于 运用 多 种 测试 技术 ， 
以 实施 广泛 的 调查 。 典 型 的 调查 成 果 包 括 产品 的 功能 列表 (梳理 产品 的 功 
能 ) 、 组 成 结构 (了 解 产品 部 件 及 其 协作 关系 ) 、 实现 技术 ( 准 测 产品 的 
工作 机 制 ) 、 输 入 与 输出 模型 《知晓 如 何 控制 和 观察 软件 的 行为 ) > RB 
较 多 的 不 稳定 区 域 (分 析 产 品 的 复杂 度 和 风险 ) 等 。 当 测试 人 员 已 经 融入 
项 目 团 了 ,他 的 研究 任务 往往 十 获得 一 个 新 功能 或 新 修复 的 情报 ， 从 而 周 
密 地 设计 测试 方案 。 这 时 ， 其 研究 策略 倾向 于 专注 于 特定 的 功能 以 实施 
深入 的 调查 。 典 型 的 调查 成 采 包 括 被 测 功能 的 输入 和 输出 、 与 被 测 功能 协 
作 的 其 他 功能 、 和 覆盖 说 测 功能 的 用 户 情景 、 测 试想 法 列表 、 风 险 列 表 等 。 


方法 2: 结对 测试 


除了 独立 研究 ， 测 试 人 员 可 以 与 同事 结 成 测试 对 子 ， 实 施 结对 测试 。 所 谓 
结对 测试 是 指 两 位 测试 人 员 并 排 而 坐 ， 使 用 同一 台 计 算 机 进行 测试 
aan 其 中 ， 一 位 测试 人 员 充 当 测 斌 驱动 者 ， 设 计 并 执行 测试 用 例 ， 

Se ee 包括 观察 产品 细节 、 提 供 测试 想法 、 
记录 测试 和 、 查阅 参考 资料 等 。 他 们 会 定期 交换 职责 ， 使 得 两 人 都 有 机 
San © 


从 技术 调查 的 角度 ， 结对 测试 有 助 于 产生 多 样 化 的 测试 想法 。 测 试 驱动 者 
需要 向 结对 伙伴 解释 他 的 测试 想法 ， 并 回答 同伴 对 产品 或 测试 的 疑问 。 该 
E E A 并 控 据 出 更 多 的 测试 机 会 。 通 过 交换 职 

来 有 目 不 同 测 试 人 员 的 经 验 和 技巧 目 然 融入 测试 过 程 ， 扩 展 了 测试 的 视 
角 入 手段。 与 此 同时 ， 结 对 伙伴 之 间 的 密切 交流 ， 可 以 启发 第 此 的 思路 ， 
从 而 激发 出 更 多 的 测试 灵感 。 


从 业务 研究 的 角度 ， 结 对 测试 可 以 帮助 测试 人 员 更 快 地 理解 产品 。 在 大 型 
项 目 中 ， 一 位 测试 人 员 只 负责 产品 的 几 个 模块 ， 只 了 解 产 品 的 一 部 分 业务 
知识 。 为 了 有 效 地 测试 模块 之 间 的 交互 ， 测 试 小 组 需要 测试 人 员 通 力 协 
作 、 彼 此 辅助 。 结 对 测试 让 测试 人 员 分 享 他 们 的 知识 ， 并 通过 测试 来 说 明 
知识 如 何 应 用 于 测试 。 这 是 一 种 非常 有 益 的 团队 学 习 活 动 。 当 传授 者 问 伙 
伴 介绍 业务 知识 和 产品 实现 ， 他 会 梳理 自己 的 思路 ， 从 而 激发 出 更 多 的 测 
试想 法 。 同 时 ， 学 习 者 会 提出 各 种 建议 和 问题 ， 用 他 的 知识 和 经 验 来 增强 
当前 测试 设计 。 于 是 ， 结 对 测试 综合 了 两 人 的 力量 ， 会 发 现 一 些 单 人 测试 
不 能 发 现 的 缺陷 。 


方法 3: 组 队 测 试 


除了 结对 测试 ， 测 试 小 组 还 可 以 考虑 组 队 测 试 。 所 请 组 队 测 试 是 指 多 位 测 
斌 人员 使 用 一 台 计 算 机 ， 共 同 测试 一 球 产 品 。 在 大 型 软件 中 ， 一 个 功能 很 
可 能 与 多 个 功能 具有 协作 关系 。 有 些 协作 关系 很 复 洒 ， 有 些 则 很 隐蔽 。 为 
了 对 该 功能 实施 完整 的 集成 测试 ， 测 试 小 组 需要 集合 团队 的 力量 来 群 策 群 
力 。 组 队 测 试 是 一 种 有 益 的 集体 测试 活动 ， 能 够 弥补 测试 负责 人 知识 上 的 
不 足 ， 发 现 一 两 个 测试 人 员 难 以 发 现 的 问题 。 其 常见 的 实施 方法 如 下 。 


。 功能 的 测试 负 贡 人 邀请 同事 参与 组 队 测试 会 议 。 典 型 的 党 邀 对 象 包 
括 : 相关 功能 的 测试 人 员 、 熟 悉 产 品 的 测试 老将 、 对 产品 不 太 了 解 的 
测试 新 人 等 。 邀 请 相关 测试 人 员 和 测试 老将 是 为 了 获得 更 多 的 产品 知 
识 和 更 丰富 的 测试 想法 。 邀 请 测试 新 人 是 为 了 获得 新鲜? 的 、 无 拘束 
的 观点 ， 同 时 也 帮助 新 手 尽快 熟悉 产品 。 


测试 负责 人 预定 一 个 会 议 室 ， 准 备 好 两 全 计算 机 和 投影 仪 。 一 台 计 算 
机 人 负责 执行 测试 ， 男 一 台 计 算 机 负责 记录 测试 笔记 。 投 影 仪 用 来 展示 
测试 机 的 屏幕 ， 让 参与 者 部 可 以 看 到 测试 执行 的 过 程 。 


在 会 议 中 ， 测 试 负 贡 人 执行 测试 ， 男 一 位 测试 人 员 记 和 录 测 试 笔 包 ， 其 
他 参与 者 提供 测试 用 例 。 在 测试 开始 之 前 ， 测 试 负责 人 介绍 被 测 功 能 
的 特性 ， 并 鼓励 参与 者 无 拘 无 束 地 提供 测试 想法 。 在 测试 中 ， 参 与 者 
轮流 发 言 ， 提 供 测 试用 例 。 每 提出 一 个 测试 用 例 ， 测 试 负责 人 都 会 立 
即 执行 它 。 与 此 同时 ， 记 录 员 会 记录 所 发 现 的 缺陷 或 有 价值 的 信息 ， 
以 避免 提出 想法 和 执行 测试 的 循环 被 信息 记录 打 断 。 如 果 参 与 者 对 被 
测 功能 有 疑问 ， 测 试 负责 人 应 该 立即 给 予 解答 ， 以 加 速 测试 流程 。 


组 队 测试 可 以 提出 多 样 化 的 测试 想法 。 因 为 不 同 的 测试 人 员 具 有 不 同 
的 知识 和 技能 ， 所 以 他 们 可 以 设计 出 丰富 多 样 的 测 斌 用例。 特别 是 ， 
相关 功能 的 测试 人 员 可 以 从 新 角度 设计 出 集成 测试 用 例 或 用 户 情景 。 
这 往往 会 发 现 测试 负责 人 难以 触发 的 缺陷 。 为 了 保证 测试 想法 的 多 样 


性 ， 测 试 负 责 人 要 避免 某 个 参与 者 不 停 地 发 言 ， 而 打击 了 其 他 人 的 积 
极 性 。 在 执行 完 一 条 测试 用 例 后 ， 他 可 以 主动 询问 一 个 比较 安静 的 参 
与 者 ， 请 他 提供 想法 。 通 常 ， 安 静 的 参与 者 已 经 对 问题 进行 了 一 段 时 
间 的 深入 思考 ， 能 够 提高 很 好 的 测试 用 例 。 


组 队 测 试 有 较 好 的 目 适 应 性 。 当 测试 执行 发 现 一 个 缺陷 时 ， 参 与 者 会 
受到 局 发 ， 能 够 围绕 问题 区 域 提 出 一 系列 测试 想法 。 这 有 助 于 深入 调 
查 有 风险 的 领域 ， 发 掘 出 更 多 的 缺陷 。 不 过 ， 测 试 负责 人 有 要 避免 测 试 
设计 只 局 限 在 一 个 小 范围 中 。 在 一 段 时 间 的 深入 测试 后 ， 他 需要 提醒 
参与 者 : 除了 当前 的 区 域 ， 还 有 哪些 重要 的 区 域 值 得 测试 。 


竺 会 后 ， 测 试 负 责 人 和 记录 员 共 同 整理 测试 笔记 ， 并 提交 所 发 现 的 缺 
陷 。 然 后 ， 测试 负责 人 总 结 组 队 测 试 所 获得 的 知识 和 经 难 ， 将 新 信息 
补充 到 已 有 的 测试 模型 和 测试 文档 中 。 最 后 后 ， 测 试 负责 人 发 送 测试 报 
告 给 测试 经 理 和 参与 者 ， 总 结 所 发 现 的 缺陷 和 所 获得 的 知识 ， 并 感谢 
大 家 的 参与 和 支持。 


方法 4: 头脑 风暴 会 议 


一 种 与 组 队 测 试 相似 的 团队 测试 活动 是 头脑 风 骏 会议。 为 了 更 好 地 测试 
测试 人 员 邀 请 团队 成 员 参 加 会 议 ， 通 过 积极 思 VaR AAC 
以 获得 测试 想法 和 洪 在 风险 。 与 组 队 测 试 相似 ， 头 脑 风 其 会 议 的 主 则 是 汇 
聚 团队 的 知识 ， 实 施 更 周密 的 测试 。 不 同 点 在 于 ， 组 队 测试 需要 相对 稳定 
的 测试 对 象 ， 因 此 通常 在 项 目 中 后 期 执行 ， 头 脑 风 又 会 议 一 般 不 执行 测 
Re ame 测试 对 象 尚 未 实现 时 举行 。 以 下 是 头脑 风 又 会 
议 的 实施 要 点 


。 功能 的 测试 负责 人 邀请 同事 (包括 产品 经 理 、 程 序 员 等 ) 参加 会 议 。 
与 组 队 测试 相似 ， 参 与 者 的 知识 和 角色 应 该 差异 化 ， 以 便 从 多 个 方面 
获得 测试 意见 


。 在 会 议 中 ， 测 试 负 贡 人 主持 会 议 ， 另 一 位 测试 人 员 记 录 参 与 者 的 建 
wee Vr SAMA ILD ARA LCR RINE ERP AGE 
职 记录 会 影响 他 掌控 会 议 过 程 。 

。 在 测试 开始 之 前 ， 测 试 负 责 人 介绍 说 测 功 能 的 特性 ， 并 工 励 参与 者 根 
据 自己 的 知 损 和 思考 提供 测试 想法 和 潜在 风险 。 

。 为 了 获得 多 样 化 的 想法 ， 测 试 人 负责 人 应 该 确保 每 个 参与 者 都 有 机 会 发 
言 。 一 种 常见 的 做 法 是 让 参与 者 轮流 发 言 ， 每 次 发 言 只 能 提出 一 个 想 
法 。 参 与 者 可 以 放弃 当前 的 发 言 机 会 ， 但 不 能 一 次 提出 多 个 想法 。 经 


过 几 轮 发 言 ， 会 议 可 以 捕获 到 大 部 分 重要 的 测试 想法 。 男 一 种 做 法 是 
让 参与 者 独立 地 写 下 5 个 测试 想法 ， 每 个 想法 写 在 一 张 即时 贴 上 。 然 
后 ， 将 所 有 即时 贴 烙 在 在 白板 上 。 测 试 负 贡 人 了 隶 一 读 出 即时 贴 上 的 想 
法 ， 并 将 相似 想法 的 即时 贴 归并 在 一 起 。 经 过 数 轮 提议 ,会议 可 以 获 
得 满 日 板 的 即时 贴 和 大 量 的 测试 想法 。 


在 会 后 ， 测 试 人 负责 人 和 记录 员 共 同 整理 测试 想法 。 人 然后， 测试 负责 

归纳 总 结 获 得 的 知识 ， 将 新 想法 写 入 测试 模型 和 测试 文档 中 。 最 后 ， 
测试 负责 人 加 测试 经 理 参与 者 发 送 会 议 总 结 报 告 ， 罗 列 获 得 的 测试 想 
法 和 洪 在 风险 ， 并 感谢 大 家 的 参与 和 文 持 。 


除了 发 现 软件 缺 陷 外 ， 任 何 测试 都 包含 学 习 和 研究 的 因素 。 有 时 ， 为 了 更 
好 地 掌握 产品 ， 测 试 人 员 应 该 有 意识 地 提高 研究 性 活动 的 比重 ， 主 动 地 探 
索 并 记录 产品 和 业务 知识 。 此 外 ， 与 团队 成 员 协 作 、 集 合 团队 的 力量 能 够 
更 有 效率 地 理解 大 型 产品 。 


7.3.4 利用 互联 网 资源 


互联 网 的 海量 信息 提供 了 软件 开发 的 知识 亩 ， 搜 索引 擎 则 是 发 现 知识 的 重 
要 工具 。 恰 当地 利用 搜索 引 敬 和 网 络 资源 ， 测 试 人 员 可 以 更 好 地 理解 产品 
并 执行 测试 。 以 下 是 一 些 典 型 的 利用 网 络 资源 帮助 测试 的 情景 。 


情景 1， 利 用 搜索 引擎 查找 技术 问题 的 线索 


互联 网 和 搜索 引擎 已 经 深刻 地 改变 了 软件 开发 的 习惯 。 以 往 ， 当 技术 人 员 
遇 到 技术 困难 ， 他 和 营 党 要 百 藻 思索 ， 并 壬 试 不 同 的 解决 方法 。 如 今 ， 他 可 
以 在 互联 网 上 搜索 相似 的 问题 ， 参 考 他 人 对 问题 的 分 析 和 解决 之 道 ， 从 而 
快速 地 定位 问题 和 解决 问题 。 


例如 ， 测 试 人 员 在 Windows 操 作 系 统 上 安装 产品 时 ， 安 装 程序 报告 错误 ， 并 
提供 了 错误 码 1306。 他 在 搜索 引擎 上 查询 “windows installer error 1306”， 发 
现 了 微软 描述 该 错误 的 页 面 *。 该 页 面 指 出 错误 1306 的 根源 是 目标 文件 正 
在 被 使 用 以 致 于 不 能 被 更 新 ， 一 个 可 能 的 解决 方法 是 重 局 计算 机 。 于 是 ， 
测试 人 员 着 手 碍 找 被 使 用 的 文件 以 及 使 用 它 的 进程 ， 并 将 重启 系统 作为 后 
ee 
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16 http://msdn.microsoft.com/en-us/library/windows/desktop/aa372835(v=vs.85).aspx ° 


为 了 准确 地 得 到 问题 的 线索 ， 测 试 人 员 可 以 参考 以 下 搜索 技巧 


。 搜索 有 “ 辩 识 度 ” 的 关键 词 。 为 了 获得 最 相关 的 信息 ， 测 试 人 员 应 该 准 
确 地 描述 问题 ， 且 使 用 能 与 其 他 信息 相 区 别 的 关键 词 。 对 于 软件 问 
al, 有 辨识 度 的 关键 词 通 各 来 目 错误 码 > fH RIA > ERB ADR > Ar 
使 用 的 技术 (平台 、 语 言 、 库 ) 等 。 其 中 ， 错误 码 和 错误 消息 往往 是 
独一无二 的 ， 用 它们 查 询 可 以 立即 发 现 相关 多 AASF o WA, TECH ` 
Java、Python 等 语言 中 ， 异 常 的 类 名 和 消息 是 很 好 的 搜索 词 组 ;对 于 
Windows##i #5 普 对 话 框 ， 它 提 供 的 错误 码 和 销 误 消 息 是 有 帮助 的 搜索 词 


= 


当 查 询 失 败 时 ， 尝 试 新 的 关键 词组 合 。 在 许多 时 候 ， 前 几 次 查询 并 不 
能 提供 答案 。 此 时 ， 测 试 人 员 应 该 考虑 重 整 查询 思路 ， 并 更 换 搜 索 关 
键 词 。 他 可 以 目 辣 : 当前 技术 问题 的 外 在 表现 是 什么 ? 其 独 有 的 特征 
是 什么 ? 然后 ， 写 下 一 两 句 话 ， 以 精 要 地 描述 该 问题 的 表象 和 特征 。 
接着 ， 他 从 描述 中 抽取 出 若干 关键 词 ， 以 进行 搜索 。 如 果 搜 索 结果 仍 
不 能 提供 答案 ， 他 可 以 使 用 关键 词 的 同义词 或 近义词 ， 再 做 查询 。 有 
eee cere 才能 找到 准 
i 9 答案 。 


使 用 英文 关键 词 进行 搜索 。 对 于 部 分 技术 问题 ， 只 有 英文 资料 提供 了 
线索 ， 所 以 必须 使 用 英文 关键 词 进行 查询 。 RRIA Bs FR 
Maun], HT RRA a oN T fe eI ET) il 
试 人 员 可 以 尝试 着 阅读 英文 撤 术 文档 和 英文 技术 博客 。 久而久之 他 
便 了 解 技术 领域 的 术语 和 惯用 表达 方法 。 这 不 但 有 助 于 使 用 英文 进行 
搜索 ， 还 是 很 好 的 技术 储备 方法 。 


情景 2， 通 过 技术 支持 论坛 等 工具 获得 用 户 反 馈 


为 了 回 用 户 提 供 便捷 的 技术 文 持 ， 许 多 软件 企业 准备 了 产品 论坛 、 邮 件 
组 、 即 时 通讯 软件 等 沟通 渠道 。 测 试 小 组 可 以 安排 测试 人 员 利用 这 些 渠 
道 ， 收 集 用 户 提 出 的 建议 ， 并 回答 他 们 的 问题 。 从 测试 的 角度 ， 这 样 做 有 
多 万 面 的 好 处 。 


首先 ， 这 有 助 于 培养 全 员 质 量 意 识 。 测 试 小 组 应 该 安排 每 一 位 测试 人 员 

(包括 测试 经 理 在 内 ) 参与 技术 支持 ， 让 所 有 人 与 用 户 接 触 ， 了 解 他 们 的 
需求 并 解决 他 们 的 困难 。 这 有 助 于 测试 小 组 切 号 体会 用 户 的 感受 ， 了 解 产 
品 的 优点 和 不 足 ， 从 而 逐渐 培养 出 团队 的 质量 意识 。 在 具体 实施 上 ， 测 试 
小 组 可 以 安排 一 位 测试 人 员 负 责 一 个 沟通 渠道 ， 每 个 月 轮换 一 次 。 该 测试 
人 员 每 周 用 5 个 小 时 (平均 每 个 工作 日 1 小 时 ) 来 收集 并 处 理 用 户 反 馈 ， 并 
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第 二 ,分析 用 户 问 题 可 以 获得 缺陷 的 第 一 手 资 料 。 在 处 理 一 个 具体 的 问题 
时 ， 测试 人 员 可 以 按 以 下 步骤 进行 调查 。 


。 首先 ， 测 试 人 员 需 要 判断 用 户 提交 的 问题 是 不 是 产品 缺陷 。 有 时 ， 所 
提交 的 问题 并 不 是 软件 缺陷 引起 的 。 例 如 ， 用 户 不 熟悉 产品 的 特性 ， 
背 误 地 操作 了 软件 ， 导 致 业务 流程 失败 。 又 例如 ， 产 品 受到 运行 环境 
的 限制 ， 没 有 足够 的 资源 完成 用 户 任务 。 对 于 这 些 情况 ， 测 试 人 员 应 
该 回 用 户 解释 问题 的 根源 ， 并 提出 可 能 的 解决 方案 。 


如 有 果 问 题 是 软件 缺陷 引起 的 ， 测 斌 人 员 需 要 查询 缺陷 数据 库 ， 以 判断 
这 古 不 是 一 个 已 知 的 缺陷 。 有 些 缺 陷 因 为 难以 复 现 ， 被 解决 为 “不 能 复 
现 *”。 如 果 用 户 在 他 的 环境 中 复 现 了 缺陷 ， 测 试 人 员 应 该 通过 邮件 、 即 
时 通讯 软件 等 工具 与 用 户 直 接 联系 ， 了 解 他 使 用 产品 的 环境 和 情景 ， 

为 复 现 并 修复 缺陷 搜集 信息 。 此 外 ， 有 些 缺 陷 未 被 修复 的 原因 是 研发 
团队 认为 它们 不 够 重要 ， 不 值得 修复 。 如 有 果 用 户 发 现 了 某 个 “不 被 修 

复 ” 的 缺陷 ， 并 认为 它 导 致 了 严重 的 问题 ， 那 么 测试 人 员 应 该 重新 激活 
该 缺陷 ， 并 报告 用 户 的 使 用 情景 和 主观 感受 。 他 的 目标 是 通过 补充 更 
多 的 信息 ， 让 缺陷 得 到 更 全 面 的 考虑 ， 从 而 得 到 恰当 的 修复 。 


如 采 问 题 是 一 个 未 知 缺 陷 引 起 的 ， 测 试 人 员 应 该 与 用 户 联 系 ， 了 解 他 
使 用 产品 的 环境 和 情景 ， 然 后 笑 试 大 在 测试 环境 中 复 现 该 缺陷 。 无 论 
缺陷 是 否 在 测试 环境 中 复 现 ， 测 试 人 员 都 应 该 提交 缺陷 报告 ， 并 详细 
曾 述 已 知 的 信息 ， 包 括 用 户 发 现 缺陷 的 环境 和 使 用 情景 、 缺 陷 对 用 户 
的 影响 、 为 复 现 缺陷 进行 的 实验 及 实验 结 有 果 等 。 


在 以 上 缺陷 调查 过 程 中 ， 测 试 人 员 应 该 主动 地 与 用 户 联 系 ， 感 谢 他们 提交 
问题 ， 并 竭尽 所 能 为 他 们 服务 。 如 琳 某 个 缺陷 不 能 在 短期 内 修复 ， 测 试 人 
员 可 以 提出 一 些 缓解 方案 ， 帮 助 用 户 绕 开 该 问题 。 


此 外 ， 技 术 文 持 的 过 程 还 可 以 暴露 产品 在 故障 诊断 上 的 不 足 。 有 些 产 品 在 
用 户 许 可 的 情况 下 ， 能 够 目 动 收 集 并 提交 计算 机 的 配置 信息 、 引 发 故障 的 
调用 栈 、 产 品 进程 的 微型 内 存 转 储 文件 等 资料 。 这 显著 提高 了 故障 诊断 和 
技术 支持 的 效率 。 然 而 ， 许 多 产品 的 初始 设计 并 没有 考虑 故障 诊断 的 需 
求 。 对 此 ， 测 试 人 员 可 以 分 析 技 术 支 持 的 历史 资料 ， 结 合 切 喘 经 验 ， 提 出 
故障 诊断 的 需求 ， 并 给 出 每 项 需求 的 优先 级 。 这 有 助 于 项 目 团队 从 运 维 的 
角度 思考 产品 ， 以 做 出 相应 的 设计 。 


第 三 ， 技 术 文 持 活动 能 够 帮助 测试 人 员 了 解 用 户 使 用 软件 的 情景 。 对 于 一 
款 被 广泛 使 用 的 软件 ， 其 用 户 类 型 具有 很 大 的 差异 性 。 不 同 的 用 户 为 了 完 
成 其 任务 ， 会 构思 出 不 同 的 解决 方案 ， 用 多 种 多 样 的 方式 使 用 产品 。 其 中 
一 些 使 用 情景 是 项 目 团队 在 设计 产品 时 没有 想到 的 。 所 以 ， 阅 读 用 户 问 题 


总 是 能 收集 到 一 批 * 别 出 心 裁 ” 的 使 用 情景 。 通 过 分 析 这 些 新 的 用 户 情 景 ， 
测试 人 员 可 以 更 好 地 理解 用 户 的 差异 性 ， 并 为 情景 测试 积累 真实 的 素材 。 


情景 3; 多 方面 地 收集 用 户 对 产品 的 评论 


随 着 互联 网 的 快速 发 展 ， 用 户 会 在 形形色色 的 网 站 上 发 表 目 己 对 产品 的 疑 
问 和 见解 。 测 试 小 组 可 以 定期 收集 并 分 析 各 方 对 产品 的 评价 ， 从 而 更 好 地 
了 解 产 品 在 用 户 情 景 中 表现 了 哪些 优点 ， 又 暴露 了 哪些 不 足 。 以 下 是 一 些 
常见 的 用 户 评 论 的 信息 源 。 


。 论坛 。 除 了 开发 方 提 供 的 产品 论坛 ， 产 品 的 热心 用 户 可 能 组 建 独立 的 
论坛 ， 让 用 户 社区 目 由 地 讨论 各 种 话题 。 随 着 社区 的 发 展 ， 论 坛 会 聚 
集 一 批 资深 用 户 ， 他 们 拥有 丰富 的 产品 知识 和 使 用 经 验 ， 不 但 能 够 回 
答 痢 手提 出 的 问题 ， 还 能 够 为 产品 发 展 提供 有 价值 的 观点 。 测 斌 小 组 
可 以 将 此 类 论坛 视 为 官方 论坛 的 延伸 ， 定 期 地 收集 和 分 析 有 价值 的 帖 
子 ， 以 发 现 产 品 缺 陷 、 评 售 产 品 优 和 缺点、 识别 用 户 情景 。 


博客 。 一 些 资深 用 户 会 开设 博客 ， 发 表 他 使 用 产品 的 经 验 和 技巧 ， 并 
点 评 产品 的 优 缺 点 。 测试 人 员 可 以 订阅 一 些 质 量 比较 好 的 博客 ， 坚 持 
阅读 ， 以 积累 产品 知识 ， 并 掌握 更 多 使 用 产品 的 方法 。 在 测试 活动 
中 ， 这 些 新 知 能 够 激发 测试 灵感 、 提 高 测试 的 多 样 性 。 此 外 ， 它 们 也 
是 “博客 漫游 ” (参见 5.4.2 节 ) 的 基本 素材 。 


问答 网 站 。 有 些 用 户 在 过 到 产品 问题 时 ， 会 使 用 问答 网 站 或 微 博 来 征 
求解 答 。 测 试 人 员 可 以 利用 此 类 网 站 提供 的 搜索 功能 ， 获 得 用 户 近 出 
的 问题 和 相应 的 解答 。 那 些 拥 有 众多 评论 和 “赞同 ”的 问题 往往 体现 了 
FIS RIRS LERAREN] 。 它们 是 产品 设计 和 测试 设计 值得 参考 的 信 


媒体 评论 。 在 新 产品 发 布 后 ， 一 些 媒体 会 测试 产品 ， 并 发 表 评 测 文章 
或 评测 视频 。 这 些 评 论 对 于 产品 的 推广 有 潜在 、 甚 至 巨大 的 影响 ， 产 
品 团 队 需 要 予以 相应 的 重视 。 测 试 人 员 应 该 收集 相关 评论 (包括 对 竞 
争 产品 的 评论 ) ， 了 解 评论 者 从 哪些 方面 考察 软件 ， 用 何 种 方法 和 工 
具 来 具体 评价 产品 的 表现 。 这 些 信息 是 “评论 者 漫游 "和 "竞争 者 漫 
游 ” (参见 5.4.2 节 ) 的 参考 资料 ， 能 帮助 测试 人 员 从 评论 者 的 角度 来 测 
斌 软件， 以 发 现 不 民 设 计 对 软件 价值 的 伤害 。 在 开发 过 程 中 发 现 此 类 
设计 缺陷 ， 使 研发 团队 有 资源 修复 问题 ， 从 而 避免 产品 发 布 后 立即 骏 
露 在 猛烈 的 批评 中 。 


互联 网 的 信息 浩如烟海 ， 是 无 法 穷尽 的 。 高 效 的 测试 人 员 会 灵活 地 运用 搜 
索引 擎 等 工具 ， 快 速 地 获取 有 价值 的 资料 ， 为 测试 设计 和 产品 发 展 提供 文 


人 


7.3.5 ”领域 研究 


通 单 ， 软 件 产品 的 任务 是 帮助 用 户 解 决 特定 领域 的 问题 ， 辅 助 他 们 实现 业 
务 目标 。 如 果 它 不 能 完成 领域 任务 、 不 能 解决 领域 问题 ， 无 论 它 在 其 他 方 
面 如 何 优秀 ， 都 无 法 逃脱 失败 的 结局 。 为 了 有 效 地 发 现 此 类 问题 ， 测 斌 人 
员 需 要 深入 学 习 业 务 领域 的 知识 。 例 如 ， 照 片 美化 软件 的 测试 人 员 应 该 学 
习 图 像 处 理 的 知识 ， 文 字 处 理 软件 的 测试 人 员 应 该 学 习 排版 知识 ， 财 务 软 
件 的 测试 人 员 应 该 学 习 财会 知识 。 这 不 但 有 助 于 发 现 严 重 的 设计 缺陷 ， 还 
可 以 发 现 一 些 领 域 专家 才能 识别 的 细 市 问题 。 


与 需求 评审 相似 ,测试 人 员 需 要 用 明确 的 目标 来 驱动 领域 研究 。 否 则 ， 他 
可 能 化 费 了 大 量 的 时 间 ， 却 没有 获得 对 测试 活动 有 价值 的 成 果 。 一 般 说 
来 ， 领 域 研究 的 目标 是 获得 产品 相关 的 领域 模型 。 该 模型 可 以 连 毛 产品 团 
队 和 领域 专家 ， 并 指导 测试 小 组 实施 业务 相关 的 测试 。 虽 然 不 同 的 产品 拥 
有 过 异 的 领域 模型 ， 但 是 典型 的 模型 会 包含 业务 领域 的 基本 概念 ， 能 够 表 
达 产 品 的 业务 目标 ， 以 及 达成 目标 的 技术 方案 和 约束 条 件 。 


首先 ， 测 试 人 员 需 要 掌握 基本 的 领域 概念 和 术语 。 当 领域 专家 相互 交谈 
时 ， 他 们 会 使 用 大 量 的 术语 来 表达 领域 的 专属 概念 ， 即 使 用 所 谓 的 “ 行 
话 ” 来 提高 交流 的 效率 。 在 日 章 工 作 中 ， 研 发 团队 的 成 员 也 应 该 掌握 并 使 用 
领域 术语 。 这 让 产品 经 理 、 程 序 员 、 测 试 人 员 、 领域 专家 等 项 目 关 系 人 能 
够 高 效 地 交流 ， 并 为 进一步 的 领域 研究 商定 基础 。 


当 人 研究 一 个 新 领域 时 ， 以 维基 百科 为 代表 的 在 线 百 科 全 书 是 很 好 的 起 点 。 
测试 人 员 可 以 从 一 个 最 核心 的 领域 术语 开始 ， 阅 读 它 的 定义 ， 并 利用 页 面 
上 相关 术语 和 参考 文献 的 链接 进一步 阅读 相关 资料 。 因 为 时 间 有 限 ， 测 试 
人 员 不 能 穷尽 所 有 的 术语 和 资料 ， 所 以 他 需要 有 选择 地 阅读 。 


与 测 程 (参见 3.2.13 节 ) 相似 ， 他 可 以 设 定 一 个 时 间 盒 (60 到 120 分 钟 ) ， 
在 此 期 间 专心 致 志 地 阅读 在 线 百科 的 词 条 和 参考 文献 。 在 阅读 过 程 中 ， 他 
循环 执行 批判 性 阅读 的 基本 步骤 结构、 主张 、 评 佑 (参见 7.3.2 节 ) 。 首 
先 ， 他 扫描 词 条 全 文 ， 阅 读 摘要 、 标 题 和 图 表 ， 以 理解 术语 的 基本 含义 ， 
并 掌握 全 文 结构 。 然 后 ， 他 直接 跳 到 感 兴趣 的 段落 进行 阅读 ， 并 将 有 价值 
的 信息 摘录 到 研究 笔记 中 。 接 着 ， 他 评估 当前 的 研究 进展 ， 以 确定 是 深入 
研究 该 术语 对 应 的 概念 (阅读 词 条 所 列举 的 参考 文献 ， 还 是 拓宽 研究 范 
E (阅读 当前 词 条 的 相关 词 条 ) 。 随 后 ， 他 开始 对 下 一 篇 文章 进行 批判 性 
阅读 。 在 时 间 盒 内 ， 测 试 人 员 应 该 高 速 阅读 ， 浏 览 尽 可 能 多 的 词 条 和 文 


献 。 其 目标 不 是 深入 理解 一 两 个 术语 ， 而 是 掌握 领域 的 基本 情况 ， 为 后 续 
的 研究 页 定 宽泛 的 基础 。 


在 时 间 盒 结束 后 ， 测 试 人 员 需 要 整理 研究 笔记 ， 将 原先 零散 记录 的 术语 、 
定义 和 描述 ， 组 织 成 相互 联系 的 概念 体系 。 之 后 ， 他 可 以 将 笔记 分 享 给 领 
域 专 家 和 测试 伙伴 ， 并 与 他 们 一 起 讨论 研究 成 果 。 在 讨论 中 ， 领 域 专家 和 
资深 同事 可 以 提供 更 多 的 信息 ， 帮 助 测试 人 员 更 快 地 掌握 领域 知识 的 要 
点 ， 并 纠正 一 些 误解 。 


在 掌握 基本 概念 之 后 ， 测 试 人 员 需 要 了 解 产品 所 服务 的 业务 目标 。 业 务 目 
标 研 究 和 需求 分 析 很 相似 ， 都 需要 理解 用 户 获得 业务 成 功 必须 达到 的 目 
标 ， 痢 通过 用 户 访 谈 、 市 场 调 查 、 文 献 阅读 等 手段 来 收集 信息 和 产生 结 
论 。 其 区 别 在 于 ， 需 求 分 析 着 重 考 虑 当前 产品 的 功能 和 范围 ， 研 究 计 算 机 
和 软件 如 何 帮 助 用 户 ;业务 目标 饶 究 则 偏重 于 业务 本 喘 ， 挖 握 用 户 的 使 命 
和 任务 ， 而 不 刻意 地 思考 具体 的 工作 是 由 产品 完成 、 还 是 由 用 户 或 其 他 工 
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对 于 测试 人 员 而 言 ， 业 务 目标 的 研究 成 果 可 以 是 一 组 用 户 角 色 (参见 5.6.2 
Y) 。 一 个 用 户 角色 是 一 个 具体 的 人 物 ， 但 是 他 (th) 刻画 了 一 类 用 户 的 
共性 符 征 ， 摘 述 了 他 们 的 共同 目标 。 利 用 用 户 角 色 ， 测 试 人 员 可 以 更 好 地 
理解 产品 的 使 命 ， 并 为 情景 测试 提供 基本 素材 。 他 针对 每 个 用 户 角 色 ， 进 
一 步 列 出 产品 为 他 (她 ) 提供 的 核心 功能 和 质量 特性 ， 从 而 将 用 户 的 业务 
目标 和 产品 的 能 力 联系 起 来 。 


在 知晓 业务 目标 之 后 ， 测 试 人 员 需 要 学 习 达 成 业务 目标 的 技术 方法 。 例 
如 ， 照 片 美 化 软件 的 测试 人 员 针 对 图 片 的 “色彩 调节 ?功能 ， 需 要 学 习 一 些 
图 像 处 理 知 识 ， 包 括 图 片 的 文件 格式 、 图 片 的 主要 属性 (尺寸 、 分 辨 率 、 
色 深 等 ) 、 图 片 在 内 存 中 的 数据 格式 、 色 彩 编码 、 色 彩 变换 算法 等 。 在 
掌握 了 这 些 领域 知识 后 ， 测 试 人 员 可 以 更 好 地 理解 产品 设计 ， 并 设计 有 和 针 
对 性 的 测试 用 例 。 从 长 远 看 ， 测 试 人 员 通 过 持续 学 习 ， 能 逐渐 成 长 为 领域 
专家 。 他 的 领域 知识 让 他 可 以 有 效 地 测试 该 领域 的 大 部 分 软件 。 


17 大 多 数 图 像 处 理 软件 支持 编辑 多 种 格式 的 图 片 文件 。 当 读 取 图 片 文件 时 ， 它 会 将 不 同 的 图 片 格式 
转化 为 一 种 统一 的 格式 ， 并 保存 在 内 存 中 。 当 用 户 编辑 图 片 时 ， 软 件 会 根据 用 户 命令 对 内 存 中 的 数 
据 进行 计算 和 修改 。 当 用 户 保 存 或 导出 图 片 时 ， 软 件 会 将 内 存 中 的 数据 编码 为 用 户 指定 的 图 片 格 
式 ， 并 写 入 外 部 存储 器 。 


为 了 学 习 具 体 的 技术 方法 ， 测 试 人 员 需 要 钻研 一 些 领 域 专 着 和 文献 资料 。 
起 初 ， 他 可 以 请 领域 专家 或 闹 深 同事 推荐 一 些 文献 。 随 大 人 研究 的 深入 ， 他 
可 以 根据 工作 需要 和 上 自身 兴趣 ， 搜 索 并 学 习 更 多 的 资料 。 通 常 ， 测 试 人 员 
不 可 能 脱离 工作 来 进行 长 时 间 的 学 习 。 因 此 ， 注 重 实效 的 测试 人 员 会 在 整 
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个 项 目 过 程 中 利用 空 内 时 间 持 续 学 习 ， 根 据 产 品 的 发 展 和 测试 的 需求 ， 逐 
人 
全 


领域 研究 是 为 了 更 好 地 测试 。 在 学 习 技 术 方法 的 同时 ， 测 试 人 员 应 该 从 测 
试 角度 收集 信息 ， 为 测试 设计 提供 支持 。 以 下 是 一 些 常 见 的 研究 结果 。 


。 约束 规则 “。 许 多 领域 拥有 定律 、 规 则 和 法 条 ， 它 们 对 领域 对 象 产生 了 
强制 约束 。 例 如 ， 物 体 运动 应 该 人 符合“ 能量 守恒 定律 "”，JEPG 图 片 编码 
需要 遵循 国际 标准 ， 财 会 工作 必须 遵守 国家 法 律 法 规 等 。 测 试 人 员 应 
人 


潜在 风险 。 在 阅读 资料 时 ， 如 果 测 试 人 员 感 觉 某 些 主 题 艰 深 难 懂 ， 他 
应 该 提醒 自己 ， 产 品 经 理 和 程序 员 在 处 理 该 主题 时 也 会 感到 困惑 。 如 
果 他 们 不 能 很 好 地 应 对 领域 复杂 性 ， 其 设计 和 实现 很 可 能 包含 错误 。 
测试 人 员 应 该 将 复杂 性 高 的 主题 记录 为 风险 项 ， 并 在 今后 的 测试 中 予 
以 重点 关注 。 除 了 复杂 性 ， 测 试 人 员 还 需要 留意 其 他 挑战 产品 的 因 
素 。 例 如 ， 严 谍 的 学 术 文献 在 讨论 一 种 技术 时 ， 不 但 会 介绍 它 的 优 
上 护 ， 还 会 中 肯 地 讨论 其 缺点 。 当 项 目 团队 远 择 一 个 特定 的 技术 ， 它 的 
已 知 缺点 应 该 被 记录 为 风险 项 ， 在 开发 和 测试 过 程 中 予以 监控 。 


测试 模型 。 与 需求 评审 相似 ， 测 试 人 员 应 该 重新 组 织 他 学 到 的 知识 ， 
形成 面向 测试 的 模型 。 好 的 模型 能 够 精炼 地 表达 领域 本 质 ， 为 测试 设 
计 和 测试 执行 提供 有 力 文 持 。 


综 上 所 述 ， 领 域 研究 要 求 测试 人 员 持 续 付 出 时 间 和 努力 ， 并 将 研究 成 果 应 
用 于 测试 实践 。 其 回报 也 是 丰厚 的 。 和 掌握 领域 知识 的 测试 人 员 能 够 目 如 地 
与 产品 关系 人 (领域 专家 、 软 件 用 户 、 程 序 员 等 讨论 产品 和 业务 ， 尽 早 
发 现 需 求 分 析 和 软件 设计 中 的 缺陷 ， 并 设计 出 更 具 威 力 的 测试 ， 发 现 简 单 
测试 不 能 又 露 的 问题 。 


7.4 研究 策略 

本 章 已 经 介绍 了 静态 分 析 、 动 态 分 析 、 关 系 人 研究 、 需 求 评审 、 测 试 调 
查 、 网 络 调研 、 领 域 研究 等 研究 产品 的 方法 。 在 实践 这 些 方法 的 过 程 中 ， 
有 两 个 要 点 值得 测试 人 员 注 意 。 


第 一 ， 测 试 人 员 需 要 综合 运用 多 种 研究 方法 ， 才 能 全 面 地 理解 产品 。 不 同 
的 方法 从 不 同 的 角度 调查 产品 ， 它 们 所 提供 的 信息 相互 补充 ， 而 非 彼 此 符 


代 。 在 测试 活动 中 ， 有 经 验 的 测试 人 员 会 交 若 使 用 多 种 研究 方法 ， 让 它们 
彼此 支持 、 相 互 驱 动 ， 从 而 获得 深入 的 调查 结 采 。 例 如 ， 他 浏 咒 业 务 相 关 
文献 ， 获 得 了 一 组 测试 想法 。 为 了 检验 想法 的 有 效 性 ， 他 阅读 产品 的 源 代 
码 ， 以 过 滤 掉 无 效 的 想法 ， 并 将 有 效 的 想法 细 化 为 一 组 测试 用 例 。 在 测试 
执行 时 ， 他 使 用 调试 器 等 工具 分 析 产 品 的 动态 行为 。 在 工具 的 帮助 下 ， 他 
发 现 了 一 些 产 品 缺 陷 ， 并 对 产品 设计 产生 了 新 的 疑问 。 为 了 解除 困惑 ， 他 
又 去 查阅 需求 文档 和 领域 资料 ， 以 求 获 得 更 多 的 线索 。 


第 二 ， 产 品 研 究 会 贯 军 整 个 项 目 过 程 。 在 软件 项 目 中 ， 并 没有 泾 渭 分 明 
的 “研究 调查 阶段 和"* 实 践 应 用 阶段 >， 产 品 人 研究 和 测试 实践 总 是 并 行 实施 。 
产品 滥 化 会 提出 新 的 测试 任务 ， 新 的 任务 将 驱动 新 的 研究 活动 ， 新 的 研究 
成 果 会 指导 新 一 轮 的 测试 ， 而 新 的 测试 结果 提供 了 更 多 的 研究 素材 。 高 效 
的 测试 人 员 会 充分 利用 测试 的 迭代 过 程 ， 以 测试 任务 为 指引 ， 通 过 注重 实 
效 的 研究 ， 逐 步 积 累 产 品 和 领域 知识 。 他 知道 掌握 知识 的 根本 方法 是 并 发 
地 实施 测试 相关 学 习 、 测 斌 设计、 测试 执行 和 测试 评 佑 ， 让 它们 成 为 相互 
支持 的 活动 。 理 论 和 想法 需要 进 过 实践 的 考验 和 修正 才能 真正 发 挥 作用 。 


7.5 小结 

本 章 讨论 了 如 何 从 测试 的 角度 来 研究 产品 和 业务 ， 介 绍 了 一 些 实践 方法 

静态 分 析 通 过 阅读 产品 代码 ， 来 理解 产品 实现 和 代码 变更 。 

。 对 于 复杂 产品 的 理解 ， 静 态 分 析 的 典型 策略 是 概览 源 代 码 树 ， 了 解 目 
录 结 构 、 模 块 划分 、 代 码 分 布 等 基本 情况 ， 然 后 细 读 一 部 分 重要 代码 
来 以 点 带 面 。 

。 影 响 分 析 和 传播 分 析 是 审阅 局 部 代码 并 产生 测试 想法 的 常见 技术 。 

黑 盒 测 试 并 不 是 基于 无 知 的 测试 。 

。 动 态 分 析 通 过 运行 软件 来 研究 产品 的 关键 情景 和 重要 设计 。 

。 灵 活 使 用 包括 调试 器 在 内 的 动态 分 析 工具 将 显著 提高 测试 效率 。 

测试 人 员 需 要 识别 重要 关系 人 ， 理 解 其 目标 、 使 命 和 任务 。 

。 内 部 使 用 是 一 项 很 有 价值 的 开发 实践 ， 但 它 不 能 履 盖 所 有 用 户 类 型 。 


测试 人 员 需 要 批判 性 地 阅读 产品 相关 文档 。 典 型 的 文档 评审 结果 包 
括 : 文档 缺陷 、 测 试 模型 、 测 试想 法 和 需要 调查 的 问题 。 


。 软件 测试 本 号 束 是 一 种 研究 产品 的 方法 。 侦察 测 程 、 结 对 测试 、 组 队 
测试 、 头 脑 风 暴 会 议 能 够 帮助 测试 人 员 更 好 地 了 解 产 品 。 


互联 网 提供 了 海量 的 测试 信息 ， 搜 索引 擎 是 发 现 知 识 的 重要 工具 。 


测试 人 员 需 要 学 习 领 域 概念 、 业 务 术语 、 业 务 目标 和 技术 方法 ， 以 实 
施 更 深入 的 测试 。 


综合 运用 多 种 研究 方法 ， 才 能 全 面 地 理解 产品 。 
a > 测试 设计 、 测 试 执行 和 测试 评估 是 相互 支持 的 并 发 活 
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第 8 章 研究 项 目 


在 启发 式 测试 策略 模型 HTSM (4.2.1107) 中 ， 产 品 元 素 、 项 目 环境 、 质 量 
标准 和 测试 技术 是 测试 人 员 思 考 测试 策略 的 基本 要 素 。 本 书 之 前 的 章节 讨 
论 了 测试 技术 、 质 量 标准 和 产品 元 素 ， 本 章 将 讨论 项 目 环境 。 


软件 项 目 是 一 个 内 涵 丰 富 的 主题 ， 相 关闭 作 可 谓 汗 牛 充 栋 。 基 于 本 书 的 主 
虽 ， 本 章 只 从 测试 人 员 的 角度 来 考察 软件 项 目 ， 目 标 是 为 测试 活动 提供 更 
多 的 信息 。 具 体内 容 包 括 项 目 团 队 、 项 目 分 析 和 基于 风险 的 测试 。 


8.1 项 目 团 队 


软件 项 目的 主体 是 项 目 团队 ， 他 们 创造 了 令 人 赞叹 的 功能 ， 也 引入 了 让 人 
恼怒 的 缺陷 。 团 队 的 人 员 构 成 、 组 织 结构 、 运 作 机 制 将 深远 地 影响 软件 的 
质量 。 语 境 张 动 测试 认为 “人 人， 团队 协作 ， 是 项 目 语 境 中 最 重要 的 部 

分 ”[ContextDrvienTesting12]。 因 此， 测试 人 员 需 要 了 解 项 目 团 队 的 成 员 ， 
并 知晓 团队 的 运作 方式 。 只 有 如 此 ， 测 试 人 员 才 能 有 效 地 运用 测试 资源 ， 
为 团队 提供 高 质量 的 测试 服务 。 


8.1.1 了 解 团队 组 织 
在 加 入 一 个 新 团队 后 ， 测 试 人 员 应 该 主动 了 解 项 目 团队 的 使 命 、 目 标 和 运 


作 方 式 。 这 将 帮助 他 理解 目 己 的 职责 ， 从 而 更 好 地 执行 测试 任务 。 以 下 是 
些 值得 思考 的 问题 。 


Fe Pe ieee agin 8 


o 测试 人 员 所 处 的 项 目 团队 负责 哪些 工作 ? 

o 当前 团队 有 哪些 伙伴 团队 ? 哪些 是 上 游 团队? 哪些 是 下 游 团队 ? 
o 当前 团队 与 伙伴 团队 有 哪些 具体 的 依赖 天 系 ? 

相互 依赖 的 团队 如 何 协同 工作 ? 他 们 对 于 合作 的 内 容 和 方式 有 哪 
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o 对 于 测试 人 员 而 言 ， 他 需要 为 哪些 团队 提供 哪些 服务 ”其 他 团队 
又 会 通过 什么 方式 回 他 提供 文 持 ? 


。 测试 人 员 应 该 掌握 团队 的 人 员 组 成 和 角色 职 贡 。 


o 对 于 当前 团队 ， 产 品 经 理 小 组 、 编 程 小 组 、 测 试 小 组 各 人 负 什 么 责 
任 ? 落实 到 个 人 ， 产 品 经 理 、 程 序 员 、 测 试 人 员 各 人 负 什 么 责任 ? 

o 在 当前 团队 中 ， 产 品 经 理 、 程 序 员 、 测 试 人 员 如 何 协同 工作 ? 他 
们 对 于 合作 的 内 容 和 方式 有 哪些 共识 ?产品 经 理 对 测试 人 员 的 测 
斌 服务 有 何 期 望 ? 程序 员 对 测试 人 员 的 测试 服务 有 何 期 望 ? 


A a 
决议 ? 


o 在 团队 中 ， 哪 些 人 是 资深 员工 ?哪些 人 会 指导 或 驱动 哪些 具体 的 
工作 ? 在 工作 中 直到 困惑 ， 可 以 同 谁 请 教 ? 


。 测试 人 员 需 要 了 解 项 目的 组 织 流程 。 
o 项 目 负责 人 、 产 品 经 理 、 开 发 经 理 、 测 试 经 理 如 何 协作 ? 他 们 如 
何 决 定 项 目 流程 和 规则 ? 他 们 如 何 评 佑 项目 进度 并 拟定 项 目 计 
划 ? 在 此 过 程 中 ， 测 试 人 员 可 以 提供 哪些 信息 和 建议 ? 
o 项 目 团队 如 何 定义 “工作 完成 ?2 其中,“ 测试 完成 ”的 定义 是 什么 ? 


o 项 目 团 队 如 何 决 定 产 品 可 以 发 布 ? 其 中 ,测试 人 员 需 要 为 发 布 决 
策 提 供 哪些 信息 ? 


e 测试 人 员 应 该 知晓 测试 小 组 的 组 织 流 程 。 


o 在 测试 小 组 内 部 ， 测 试 人 员 如 何 协作 ? 测试 经 理 如 何 协 调 测 试 人 
员 之 间 的 工作 ? 


测试 经 理 如 何 管 理 具体 的 测试 工作 ? 他 如 何 了 解 工 作 项 的 内 容 和 
完成 情况 ? 他 会 对 测试 工作 作出 哪些 决策 ? 


测试 经 理 对 测试 人 员 有 何 期 望 ? 他 希望 测试 人 员 以 何 种 方式 来 汇 
报 工作 ? 他 如 何 设 定 测试 任务 的 优先 级 和 质量 标准 ? 他 如 何 评估 
测试 人 员 的 工作 绩效 ? 


o 哪些 人 是 资深 测试 人 员 ? 哪些 人 会 指导 或 驱动 哪些 具体 的 测试 工 
作 ? 在 工作 中 遇 到 困惑 ， 可 以 向 谁 请 教 ? 


为 了 更 好 地 理解 项 目 环境 ， 测 试 人 员 应 该 主动 寻找 以 上 问题 的 答案 。 与 软 
件 测 试 相似 ， 他 应 该 从 多 个 渠道 收集 信息 。 


首先 ， 他 应 该 向 测试 经 理 询问 团队 组 织 的 问题 。 他 可 以 和 测试 经 理 约定 一 
个 时 间 ， 一 起 讨论 测试 管理 和 团队 协作 的 问题 。 更 好 的 做 法 是 约定 一 个 周 
期 性 的 一 对 一 会 议 ， 以 便 定期 提出 间 题 并 交换 意见 。 测 试 经 理 通常 是 测试 
人 员 的 直属 领导 ， 负 责 测试 人 员 的 绩效 考评 。 了 解 他 对 测试 工作 的 要 求 和 
期 望 ， 能 够 帮助 测试 人 员 更 有 效 地 工作 。 而 且 ， 测 试 经 理 是 测试 小 组 的 领 
导 者 ， 会 组 织 团队 活动 、 分 派 测试 任务 、 协 调 测试 人 员工 作 。 测 试 人 员 应 
该 主动 询问 测试 经 理 如 何 领导 团队 ， 从 而 更 好 地 在 团队 中 工作 。 此 外 ， 测 
试 经 理 能 够 更 多 地 接触 高 层 经 理 和 其 他 团队 的 代表 ， 对 项 目 运作 有 更 深刻 
的 认识 ， 能 够 向 测试 人 员 传递 许多 有 价值 的 信息 。 


其 次 ， 他 可 以 在 日 常 工作 中 向 团队 成 员 请 教 。 测 试 经 理 从 管理 层 的 角度 给 
出 了 意见 ， 而 团队 成 员 能 从 实际 工作 完成 者 的 角度 提供 信息 。 他 们 的 知识 
大 多 来 自 测 试 实践 ， 既 有 成 功 的 经 验 ， 又 有 失败 的 教训 。 在 具体 的 工作 
上 上， 咨询 他 们 的 意见 并 妥善 思考 ， 能 达到 事半功倍 的 效果。 测试 人 员 应 该 
对 所 有 同事 保持 谦虚 的 态度 。 在 团队 中 ， 没 有 人 知道 所 有 细节 ， 集 合 多 人 
的 观点 才能 形成 较 完整 的 认识 。 


最 重要 的 是 ， 他 应 该 通过 工作 来 获得 管 案 。“ 纸 上 得 来 终 觉 浅 ， 绝 知 此 事 要 
躬 行 ”， 许 多 道理 需要 结合 具体 任务 ， 通 过 动手 实践 才能 真正 掌握 。 测 试 人 
人 
认识 。 

例如 ， 测 试 经 理 为 新 加 入 团队 的 小 张 安排 了 一 个 测试 任务 ， 与 男 一 个 团队 


共同 完成 系统 的 集成 测试 。 为 了 理解 任务 的 背景 ， 小 张 会 器 测 试 经 理 询 问 
一 些 具 体 问题 ， 例 如 : 


O 


oO 


谁 是 集成 测试 的 总 负责 人 ? 谁 驱 动 和 协调 具体 的 工作 ? 

。 伙伴 团队 中 ， 谁 负 贡 集成 测试 ? 工作 分 工 是 什么 ? 

在 我 们 的 团队 中 ， 还 有 谁 参加 集成 测试 ? 工作 分 工 是 什么 ? 
。 集 成 测试 预期 何 时 完成 ? 集成 测试 的 结束 标准 是 什么 ? 


如 果 有 问题 (例如 严重 的 缺陷 、 缺 少 必要 的 硬件 、 某 位 同事 休假 等 ) 
阻碍 了 集成 测试 的 进展 ， 应 该 如 何 处 置 ? 


。 您 对 集成 测试 有 什么 期 望 ? 
。 您 觉得 集成 测试 存在 哪些 风险 ? 如 何 发 现 风 险 并 消除 其 危害 ? 
。 您 觉得 哪些 测试 集 上 略 会 有 帮助 ? 您 觉得 可 能 会 发 现 哪些 缺陷 ? 


除了 与 测试 经 理 交 流 ， 小 张 还 会 咨询 参与 过 集成 测试 的 员工 ， 从 他 们 那里 
了 解 集成 测试 的 情况 。 通 常 ， 测 试 经 理会 给 出 一 些 战略 层面 的 建议 ， 测 试 
人 员 会 给 出 一 些 具体 战术 。 根 据 所 收集 的 信息 ， 小 张 会 编写 一 份 测试 计 

划 ， 发 送 给 测试 经 理 、 本 团队 和 伙伴 团队 的 测试 人 员 ， 以 征求 改进 意见 。 
T Ee 
要 的 调整 。 


在 测试 完成 后 ， 小 张 回顾 测试 过 程 ， 对 测试 组 织 和 测试 设计 进行 反思 。 其 
中 ， 他 会 再 次 思考 曾经 询问 过 的 问题 ， 并 形成 目 己 的 见解 。 经 过 几 次 测试 
任务 ， 小 张 会 形成 目 己 的 知识 体系 。 当 有 新 人 同 他 咨询 测试 工作 时 ， 他 可 
以 给 出 独到 的 建议 。 


8.1.2 语 境 独立 的 启发 式 问题 


上 一 小 节 讨 论 了 一 些 面向 团队 结构 和 项 目 组 织 的 调查 问题 ， 本 市 将 介绍 测 
试 专家 Michael Bolton 和 JamesBach 所 提出 的 一 组 语 境 独立 的 启发 式 问 题 

[Bolton10]。 所谓 “ 语 境 独立 ”是 指 这 些 问 题 不 局 限于 特定 的 软件 项 目 ， 所 
谓 “ 启 发 式 ” 是 指 它 们 有 助 于 控 据 信息 ， 但 需要 测试 人 员 批 判 性 地 思考 。 当 
测试 人 员 加 入 新 项 目 或 重 狐 评估 现 有 项 目 时 ， 这 组 问题 可 以 帮助 他 调查 当 
前 语 境 ， 更 好 地 理解 自己 的 工作 。 


测试 专家 Ajay Blamurugadas 对 这 组 问题 进行 了 归纳 整理 ， 绘 制 7 一 幅 思 维 
导 图 ， 评 见 图 8-1[Blamurugadas13]。 该 图 将 Michael Bolton 的 儿 十 个 问题 归 
纳 为 十 余 个 要 点 ， 帮 助 测试 人 员 多 角度 地 思考 软件 项 目 。 当 测试 人 员 加 入 


=~ 


新 团队 时 ， 他 可 以 向 测试 经 理 和 项 目 领导 询问 这 些 问题 ， 也 可 以 用 它们 去 
指导 项 目 研究 。 无 论 如 何 ， 调 查 这 些 问题 都 可 以 让 他 更 好 地 理解 项 目 ， 为 
有 效 的 测试 提供 线索 。 


感觉 (Feeling) 许可 (Permission) 
信息 (Information) 客户 (Client) 
HL (Mision 
Fl (Pond 
报告 (Report) 
测试 者 (Tester) 时 间 (Time) 
专家 (Expert) 数据 (Data) 
思考 (Thinking) 
图 8-1 Ajay Blamurugadas 归 纳 了 Michael Bolton 的 语 境 独立 问题 
具体 的 问题 列表 如 下 。 


。 许 可 (Permission) 
o 我 可 以 问 您 一 些 问 题 吗 ? 
。 客户 〈C lient) 
。 谁 是 我 的 客户 ? 
o 您 是 我 唯一 的 客户 吗 ? 
o 谁 是 产品 的 用 户 ? 
o 还 有 哪些 关系 人 ? 
。 使 命 (M ission) 
o 我 的 使 命 是 什么 ? 
o 我 的 使 命 还 包含 哪些 部 分 ? 
。 据 您 所 知 ， 有 哪些 问题 会 威胁 产品 的 价值 ? 


。 产 品 (P roduct) 


我 可 以 无 限制 地 访问 产品 吗 ? 

o 是 否 存在 其 他 相似 的 产品 ? 

o 在 哪些 地 方 应 该 不 
司 ? 


O 


。 被 测 产品 依赖 什么 ? 
o 构建 该 产品 使 用 什么 工具 和 资源 ? 
报告 (R eport) 
o 您 希望 我 如 何 提供 报告 ? 多 久 报告 一 次 ? 
o 您 何 时 会 考虑 发 布 产品 ? 
。 除 此 之 外 ， 您 还 希望 我 提供 什么 ? 
。 您 希望 我 以 何 种 方式 提供 ? 
时 间 (T ime) 
o 我 拥有 多 少时 间 ? 
o 距离 下 次 发 布 或 部 署 还 有 多 少时 间 ? 
。 距 离 测 试 结束 或 开发 结束 还 有 多 少时 间 ? 
。 您 何 时 需要 报告 或 答案 ? 
数据 (D ata) 
o 产品 处 理 什么 样 的 数据 ? 
o 我 可 以 获得 一 些 样 例 数 据 吗 ? 
o 我 能 获得 对 数据 的 详细 描述 吗 ? 
先知 (O racle) 
o 我 如 何 识别 一 个 问题 ? 


。 如 果 我 认为 我 发 现 了 一 个 问题 。 为 什么 我 认为 这 是 一 个 问题 ? 还 
有 谁 会 认为 这 是 一 个 问题 ? 


。 思考 (T hinking) 
这 是 我 发 现 的 情况 和 我 对 它 的 解释 。 还 存在 其 他 解释 吗 ? 


这 是 我 现在 的 思考 结果 。 还 存在 其 他 正确 的 解释 吗 ? 如 果 我 的 思 
考 结果 征 错 误 的 ， 正 确 的 是 什么 ? 


称 能 解释 产品 是 如 何 工作 的 吗 ? 
o 您 能 画 一 幅 草 图 来 解释 产品 如 何 工作 吗 ? 
。 测试 者 (T ester) 
其 他 人 测试 过 产品 吗 ? 
o 我 可 以 获得 他 们 的 测试 结果 吗 ? 
o 测试 小 组 还 有 哪些 测试 人 员 ? 
o 我 需要 具有 哪些 技术 和 能 力 ? 
o 测试 小 组 还 具有 哪些 其 他 的 技术 和 人 能力? 何 处 能 提供 更 多 的 技术 


oO 


(0) 


o 
ES 


EN 


o 


o 测试 小 组 可 能 缺少 哪些 技术 和 能 力 ? 
。 专家 (E xpert) 

o 还 有 谁 了 解 产 品 ? 

o 谁 是 回答 产品 问题 的 最 佳人 选 ? 

o 在 项 目 团 队 中 ， 谁 是 领域 专家 ? 

。 谁 是 公认 的 领域 专家 ， 即 便 他 们 在 别处 工作 ? 
。 开发 者 (D eveloper) 

o 谁 构 建 了 产品 ? 


o 我 可 以 与 他 们 交谈 吗 ? 
o 他 们 容易 交流 吗 ? 他 们 乐于 助人 吗 ? 
o 他 们 曾经 构建 过 相似 的 产品 吗 ? 
o 存在 某 个 我 应 该 避免 与 他 打交道 的 人 吗 ? 
。 感觉 (F eeling) 
。 我 对 产品 和 测试 有 何 感 觉 ? 
o 您 对 产品 和 测试 有 何 感 觉 ? 
。 谁 可 能 有 不 同 的 感觉 ? 
。 他 们 可 能 有 何 感觉 ? 
o 用 户 对 产品 如 何 评价 ? 
o 我 可 以 与 技术 支持 人 员 交 谈 吗 ? 
。 信 息 (Information) 
o 我 可 以 获得 哪些 信息 ? 
o 还 有 更 多 的 信息 吗 ? 
o 在 哪里 我 可 以 获得 更 多 的 信息 ? 还 有 其 他 信息 源 吗 ? 
o 还 有 其 他 形式 的 信息 吗 ? 
o 这 就 是 全 部 的 信息 吗 ? 还 有 其 他 的 规则 、 需 求 和 规约 吗 ? 
o 我 可 以 做 哪些 工作 去 帮助 您 获得 信息 ? 
。 避免 (A void) 
。 我 可 以 相信 谁 ? 谁 的 信任 度 比 较 低 ? 
。 存在 一 些 我 不 应 该 做 的 事情 吗 ? 
o 存在 一 些 我 应 该 问 您 的 问题 吗 ? 


«e LE (Tool) 


o 有 什么 设备 和 工具 可 以 帮助 我 测试 ? 


o 您 期 望 我 构建 什么 工具 ? 要 求 我 构建 什么 工具 ? 


在 本 质 上 ，， 


以 上 问题 的 动机 是 揭 示 语 境 ， 即 通过 调查 具体 问题 来 更 全 面 地 


TEER ASER AER < 询问 并 研究 这 些 问题 将 帮助 测试 人 员 更 好 地 体 


会 他 的 环境 和 使 命 


8.1.3 了 解 团队 成 员 


P ined nal atta! 
BE 


， 测 试 人 员 需 要 了 解 与 他 一 起 工作 的 同事 ， 
有 效 地 协作 、 目 如 地 发 挥 。 所 请 了 解 同事 ， 并 不 是 要 知晓 他 们 的 生活 


细 ， 更 不 是 要 宁 探 他 人 隐私 ， 而 是 了 解 他 们 在 工作 中 如 何 思考 和 行动 ， 


从 而 更 好 地 与 他 们 配合 。 
研究 人 类 性 格 和 思维 模式 的 方法 有 很 多 


(Myers-Briggs Type Indicator, MBTI) 


[WikipediaMBTI13]。 测 试 人 员 可 以 借 


人 迈 尔 斯 ? 布 里 格 斯 性 格 分 类 
征 一 种 著名 的 性 格 测试 方法 
来 分 析 同 事 


用 MBTI 的 4 个 基本 问题 ， 


的 工作 风格 ， 从 而 以 恰当 的 方式 与 之 合作 。 


问题 1: 


。 I fey AY AN A Ag Ta VS BR 
EF, fee tbl) le] SAR AC ii, 


ee 共同 解决 问题 。 
一 方面 ， 也 从 他 们 那里 获得 力量 和 灵感 。 


和 帮助 ; 


E bV =. 
Abe, 


在 使 用 心理 能 量 时 ， 他 是 “外 向 ”还 是 “< 内向”? 


从 讨论 和 互动 中 获得 力量 。 在 工 
MAME ° PEA, WRA By AA 
一 方面 ， 向 他 们 提供 能 量 


BEE 


-从 内 部 获得 


。 ATRIAL AS A ti J 


E bV E. 
Abe, 


从 思考 和 跨 想 中 获得 力量 。 在 工 


作 中 ， 他 倾向 于 独立 工作 ， 安 静 思 考 。 这 不 意味 着 他 不 喜欢 交流 ， 而 


征 他 硕 望 在 深思 熟 虑 之 后 再 进行 讨论 。 与 内 向 型 的 同事 协作 时 ， 测 试 
人 员 应 该 用 "信任 并 检验 ?的 风格 。 首 先 ， 相 信 他 们 会 利用 安静 的 时 间 
独自 解决 问题 ， 然 后 ， 定 期 与 他 们 面对面 交流 ， 同 步 彼此 的 进度 ， 讨 
论 一 些 需要 协作 才能 解决 的 问题 。 
问题 2， 在 认识 外 在 世界 时 ， 他 是 依赖 “感觉 ?还 是 “直觉 ”? 
。 感觉 型 的 人 偏 癌 于 “眼见 为 实 、 耳 听 为 邢 "， 更 多 地 用 五 官 来 认识 世 


界 。 在 工作 中 ， 他 们 重视 事实 和 数据 ， 会 深入 地 研究 问题 的 细节 。 所 


以 ， 测 试 人 员 在 交流 之 前 应 该 准备 好 数据 、 图 表 和 事实 ， 用 翔实 的 信 
恩 来 推动 讨论 。 


。 直觉 型 的 人 偏 疝 于 使 用 直觉 ， 用 大 脑 中 的 非 显 性 知识 来 分 析 具 体 问 
题 。 在 工作 中 ， 他 们 更 重视 可 以 解释 事实 的 观点 ， 用 抽象 的 理论 来 党 
握 全 局 。 与 他 们 协作 时 ， 测 试 人 人 员 不 但 要 收集 事实 ， 还 要 思考 它们 背 
后 的 理论 ， 并 给 出 自己 的 见解 。 这 有 助 于 推动 意见 交流 ， 在 相互 启发 
的 过 程 中 获得 更 深刻 的 观点 。 


问题 3: 在 作出 决定 时 ， 他 利用 “思考 ”还 是 “感觉 ”? 


。 思考 型 的 人 在 作 决 俩 时 ， 重 视 合 理性 、 逻 辑 性 、 因 采 关 系 、 一 致 性 ， 
偏向 于 通过 理性 思考 来 得 出 结论 。 在 说 服 他 们 时 ， 测 试 人 员 需 要 严密 
地 论证 ， 用 坚实 的 推理 来 构建 证 据 链 ， 从 而 让 结论 显得 目 然而 合理 。 


。 感觉 型 的 人 在 作 决 策 时 ， 重 视 问 题 的 情景 ， 考 虑 相关 人 员 的 感受 ， 并 
关注 解决 方案 是 否 协调 一 致 和 拥有 共识 。 在 说 服 他 们 时 ， 测 试 人 员 不 
但 要 使 论证 “合理 >， 还 要 让 结果 “ 合 情 ?”。 这 要 求 测试 人 员 了 解 他 们 的 价 
用 “ 同 理 心 ”来 体会 他 们 对 于 问题 的 感受 ， 从 而 给 出 恰当 的 解决 


{AY 


问题 4， 在 处 事 风格 上 ， 他 是 “决断 ”还 是 “体察 >? 


。 决断 型 的 人 偶 癌 于 “快刀 斩 乱 麻 ”， 快 速 作出 决定 ， 让 解 空 间 收 敛 。 在 
软件 项 目 中 ， 决 断 型 的 同事 倾向 于 快速 给 出 技术 方案 ， 持 续 推动 软件 
高 速 发 展 。 这 帮助 项 目 团 队 在 激烈 的 市 场 吝 争 中 争取 先 发 优 势 ， 但 也 
引入 了 错误 决策 的 风险 。 为 此 ， 测 试 人 员 需 要 慎重 思考 他 们 的 决定 ， 
发 握 其 中 的 问题 和 风险 。 其 目标 是 确保 项 目 团 队 对 这 些 问题 进行 了 足 
够 的 研究 ， 并 为 相关 风险 制定 了 监控 和 缓解 方案 。 


体察 型 的 人 偏向 于 “循序 渐进 "， 将 重大 决策 延 后 ， 保 持 解 空 间 的 开放 
性 ， 等 到 拥有 足够 的 信息 再 作 决定 。 在 软件 项 目 中 ， 体 察 型 的 同事 倾 
问 于 只 做 必要 的 设计 ， 力 求 让 当前 的 、 其 实 的 问题 来 驱动 软件 发 展 。 
这 有 助 于 保持 软件 设计 的 简洁， 避免 过 度 设计 带 来 的 开销 。 其 风险 

他 们 的 决策 可 能 缺乏 前 瞻 性 ， SHE AALIO) MESURE E 
从 而 错失 大 幅度 提高 竞争 力 的 机 会 。 为 此 ， 测 斌 人员 需 要 密切 关注 项 
目 和 市 场 的 发 展 ， 在 必要 时 提出 自己 的 意见 ， 以 推动 项 目 发 展 。 


在 运用 MBTI 的 4 个 问题 时 ， 需 要 牢记 : 这 些 问题 都 是 局 发 式 问 题 ， 它 们 可 
以 提供 有 参考 价值 的 信息 ， 但 是 无 法 承诺 完 美的 答案 。 首 先 ， 人 的 性 格 是 
复杂 的 ， 不 会 位 于 “性 格 光谱 ”的 两 端 《例如 纯粹 的 外 向 或 纯粹 的 内 向 ) ， 


而 是 位 于 中 间 的 某 一 点 ， 从 而 体现 出 一 种 混合 的 风格 。 其 次 ， 人 对 于 不 同 
的 事物 有 不 同 的 态度 ， 从 而 在 不 同 工 作 项 上 表现 出 不 同 的 工作 风格 。 所 
以 ， 测 试 人 员 除 了 分 析 同 事 的 工作 风格 ， 还 要 与 他 们 直接 讨论 如 何 协 作 。 
有 时 候 ， 主 动 问 一 句 : “在 这 件 事 上 ， 你 布 望 我 做 些 什么 ?” ”， 吏 可 以 展开 
很 好 的 对 话 ， 为 民 好 的 协作 奠定 基础 。 


健康 的 团队 需要 不 同 风格 的 人 才 ， 人 员 在 能 力 和 性 格 上 的 差异 性 是 一 种 团 
队 财富 。 为 了 在 团队 中 作出 更 多 的 贡献 ， 测 试 人 员 需 要 主动 了 解 风格 迎 腊 
的 同事 ， 并 采用 相应 的 协作 方法 。 这 不 但 会 促成 更 好 的 项 目 团队 ， 也 会 让 
自己 的 职业 发 展 得 到 他 人 的 支持 ， 毕 竟 一 个 善于 协作 的 人 总 是 能 获得 更 多 
的 资源 和 帮助 的 。 


8.2 面向 测试 的 项 目 分 析 


在 软件 项 目 中 ， 项 目 团队 会 实施 多 种 分 析 和 度量 方法 ， 来 评估 产品 质量 和 

监控 开发 过 程 。 测 试 人 员 也 可 以 建立 一 些 度 量 ， 来 了 解 项 目 情况 ， 从 而 为 

测试 设计 提供 更 多 的 信息 。 为 了 获得 较 全 面 的 认 知 ， 他 应 该 周期 性 地 分 析 

多 个 项 目 元 素 ， 将 片段 的 信息 汇聚 成 完整 的 图 景 。 为 此 ， 本 下 将 从 测试 设 

度 ， 讨 论 几 种 最 常见 的 分 析 对 象 : 软件 缺陷 、 源 代码 、 构 建 和 上 自动 
测试 。 


8.2.1 ”软件 缺陷 


2.6 下 建议 测试 人 员 将 缺陷 管理 系统 视 作 项 目的 知识 库 ， 坚 持 每 天 或 每 周 阅 
读 他 人 提交 的 缺陷 报告 。 在 阅读 时 ， 他 可 以 使 用 一 些 度量 方法 来 分 析 近 期 
提交 的 缺陷 ， 以 一 够 缺陷 概况 ， 并 为 深入 人 研究 提供 线索 。 


为 了 提高 度量 的 效率 ， 测 试 人 员 应 该 尽 可 能 用 目 动 化 的 方法 来 获得 度量 结 
果 。 因 为 大 多 数 缺 陷 管 理 系 统 使 用 关系 型 数据 库 来 存储 缺陷 报告 ， 测 试 人 
员 可 以 使 用 SQL 《本 节 使 用 Microsoft SQL Server 支 持 的 T-SQL) 来 分 析 缺 陷 
数据 。 他 只 需要 癌 系 统管 理 员 申请 到 数据 库 的 “只 读 ” 权 限 ， 就 可 以 开始 分 
析 。 代 码 清单 8-1 展 现 了 一 个 记录 缺陷 报告 的 数据 表 。 虽 然 真 实 的 缺陷 表 比 
eee 但 是 它 呈 现 了 缺陷 的 基本 字段 ， 能 够 文 持 一 些 最 常用 的 碍 

询 。 


代码 清单 8-1 ”缺陷 数 据 表 


CREATE TABLE [dbo].[Bug]( 
[ID] [bigint] NOT NULL, 
[Priority] [smallint] NULL, 
[Severity] [smallint] NULL, 


[Path] [nvarchar](200) NOT NULL, 
[Title] [nvarchar](1000) NOT NULL, 
[OpenBuild] [nvarchar](20) NOT NULL, 
[OpenDate] [datetime] NOT NULL, 
[OpenBy] [nvarchar](10) NOT NULL, 
[ResolveDate] [datetime] NULL, 
[ResolvBy] [nvarchar](10) NULL, 
[Resolution] [nvarchar](20) NULL, 
[FixBuild] [nvarchar](20) NULL, 
[CloseDate] [datetime] NULL, 
[CloseBy] [nvarchar](10) NULL, 
[AssignTo] [nvarchar](10) NULL 

) ON [PRIMARY ] 


度量 1: 统计 缺陷 提交 、 解 决 和 关闭 的 数目 


测试 人 员 可 以 用 代码 清单 8-2 所 示 的 查询 来 获得 近 1 个 月 以 来 每 日 提交 的 缺陷 
数 。 这 条 语句 用 WHERE OpenDate >= DATEADD(dd, -30, 

GETDATE( ) ) 算 选 出 最 近 30 天 的 缺陷 报告 ， 然 后 用 GROUP BY 
CONVERT(date, OpenDate) 对 缺陷 报告 按 日 期 分 组 ， 最 后 用 SELECT 
COUNT(\*) AS BugCount 统计 出 每 天 的 缺陷 报告 数 。 图 8-2 展 示 了 相应 
es ERMEER ZLB, Ti AR A BL RE EE 


1 我 推荐 用 Microsoft Excel 连 接 数 据 库 ， 将 查询 结果 绘制 为 图 。 具 体 方法 请 参考 我 的 博客 文章 : 
http://www.cnblogs.com/liangshi/archive/2012/04/02/2429683.html , 
http://www.cnblogs.com/liangshi/archive/2012/04/02/2429685.html , 
http://www.cnblogs.com/liangshi/archive/2012/04/02/2429688.html ° 


代码 清单 8-2 ”查询 近 1 个 月 以 来 每 日 提交 的 缺陷 数 


SELECT CONVERT(date, OpenDate) AS OpenDay, COUNT(*) AS BugCount 
FROM dbo.Bug 

WHERE OpenDate >= DATEADD(dd, -30, GETDATE()) 

GROUP BY CONVERT(date, OpenDate) 


图 8-2 近 1 个 月 以 来 每 日 提交 的 缺陷 数 


除了 分 析 0penDate (缺陷 提交 日 期 ，， 测 斌 人员 还 可 以 采用 与 代码 清单 8- 
2 相似 的 查询 来 分 析 ResolveDate (缺陷 解决 日 期 ) 和 CloseDate (i 
陷 关 闭 日 期 一 通常 是 测试 人 员 检 查 缺 陷 修 复 的 日 期 ) 。 这 样 可 以 了 解 解 
决 缺陷 的 速度 和 检查 修复 的 速度 。 


他 还 可 以 运行 代码 清单 8-3， 来 查询 近 1 个 月 以 来 的 缺陷 提交 数 、 解 决 数 和 关 
财 数 。 如 采 缺 陷 解决 数 远 小 于 缺陷 提交 数 ， 那 么 编程 小 组 可 能 没有 EAI 
时 间 来 修复 缺陷。 如 采 缺 陷 关 闭 数 远 小 于 缺陷 修复 数 ， 那 么 测试 小 组 可 能 
没有 足够 的 时 间 来 检查 缺陷 修复 。 这 都 是 项 目 风险 ， 需 要 及 时 癌 测试 经 理 
汇报 ， 以 便 项 目 管理 者 作出 必要 的 调整 。 


代码 清单 8-3 ” 近 1 个 月 以 来 的 缺陷 提交 数 、 解 决 数 和 关闭 数 


SELECT 

COUNT(*) AS OpenCount 

, SUM(CASE WHEN ResolveDate IS NULL THEN © ELSE 1 END) AS 
ResolveCount 

, SUM(CASE WHEN CloseDate IS NULL THEN © ELSE 1 END) AS CloseCount 
FROM dbo.Bug 
WHERE OpenDate > DATEADD(dd, -30, GETDATE()) 


度量 2: 统计 员工 提交 、 解 决 和 关闭 缺陷 的 数目 


然后 ， 他 可 以 使 用 代码 清单 8-4 所 示 的 SQL 语句 来 查询 提交 缺陷 最 多 的 10 个 
人 ， 其 结果 如 图 8-3 所 示 。 该 SQL 语句 用 WITH 子 句 对 0penBy (提交 者 ) 分 
组 ， 获 得 每 位 员工 在 最 近 30 天 所 提交 的 缺陷 数 ， 然 后 利用 ORDER BY 


BugCount DESC 和 SELECT TOP 10 查询 出 提交 缺陷 最 多 的 10 个 人 。 利 
用 该 查询 ， 测 试 人 员 可 以 知道 谁 提交 了 最 多 的 缺陷 ， 并 评估 目 己 发 现 的 缺 
陷 数 在 团队 中 处 于 什么 位 次 。 


代码 清单 8-4 ” 近 1 个 月 来 提交 缺陷 最 多 的 10 位 员工 


WITH BugHunter AS ( 
SELECT OpenBy, COUNT(*) AS BugCount 
FROM dbo.Bug 
WHERE OpenDate >= DATEADD(dd, -30, GETDATE()) 
GROUP BY OpenBy 


) 

SELECT TOP 10 OpenBy, BugCount 
FROM BugHunter 

ORDER BY BugCount DESC 
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图 8-3 ” 近 1 个 月 来 提交 缺陷 最 多 的 10 位 员工 


通常 ， 那 些 发 现 较 多 缺陷 的 员工 对 产品 比较 了 解 ， 能 够 想 出 许多 针对 产品 
弱点 的 测试 想法 。 测 试 人 员 应 该 保持 谦虚 的 心态 ， 认 真 阅读 他 们 的 缺陷 报 
告 ， 以 积累 产品 知识 和 测试 想法 。 在 此 过 程 中 ， 他 可 以 用 以 下 问题 来 驱动 
阅读 。 


。 缺陷 提交 者 是 如 何 发 现 该 缺陷 的 ? 他 利用 了 哪些 产品 知识 ? 利用 了 何 
种 测试 策略 ? 


。 我 能 否 利用 这 些 知 识 和 筑 略 来 增强 我 的 测试 ? 能 否 在 此 基础 上 发 展 出 
更 具 威 力 的 策略 ? 


。 该 缺陷 是 什么 类 型 的 缺陷 ? 它 反 应 了 产品 在 哪 方面 存在 弱点 ? 


。 缺陷 管理 系统 中 还 存在 类 似 的 缺陷 吗 ? 能 否 提炼 出 这 些 缺陷 的 共性 ， 
RN 能 人 否 针对 此 类 缺陷 ， 设 计 几 种 有 针对 性 的 测试 党 
He“? 


除了 分 析 0penBy (缺陷 提交 者 ) ， 测 试 人 员 还 可 以 采用 与 代码 清单 8-4 相 
似 的 查询 来 分 析 ResolveBy (缺陷 解决 者 ) 和 CloseBy (缺陷 关闭 者 
一 一 通常 也 是 缺陷 修复 的 检验 者 ) 。 这 样 可 以 了 解 谁 修复 了 最 多 的 缺陷 、 
谁 检查 了 最 多 的 修复 ， 从 而 了 解 项 目 团队 的 工作 情况 。 


度量 3: 统计 每 个 模块 的 新 增 缺 陷 数 


测试 人 员 可 以 使 用 代码 清单 8-5 分 析 缺 陷 在 不 同 模块 的 分 布 。 这 段 代 码 假定 
缺陷 报告 的 路 径 的 格式 是 “ 父 模 块 \ 子 模块 \ 孙 模块 "， 即 路 径 是 以 ”为 分 隔 符 
的 模块 序列 。 代 码 使 用 "RIGHT([Path]， CHARINDEX('\\', 
REVERSE([Path]))) ”获得 最 后 一 个 "之 后 的 模块 名 ， 即 路 径 末 端的 模 
块 名 。 图 8-4 显 示 了 查询 结果 ， 它 指出 模块 MI 的 缺陷 异乎 寻常 地 多 。 这 暗示 
测试 人 员 应 该 去 阅读 该 模块 的 缺陷 报告 ， 以 调查 它 为 什么 有 如 此 多 的 缺 

陷 。 在 许多 时 候 ， 发 现 缺陷 较 多 的 模块 还 隐藏 了 不 少 沿 未 发 现 的 缺陷 。 通 
过 阅读 缺陷 报告 ， 测 试 人 员 可 以 发 掘 缺 陷 多 发 的 根源 ， 从 而 制定 出 有 针对 
性 的 测试 策略 。 


代码 清单 8-5 ” 近 1 个 越 来 缺陷 在 不 同 模块 的 分 布 


SELECT [PATH] 


, RIGHT([Path], CHARINDEX('\', REVERSE([Path]))) AS Module 
, COUNT(*) AS BugCount 

FROM dbo.Bug 

WHERE OpenDate > DATEADD(dd, -30, GETDATE()) 


ORDER BY BugCount DESC 


M M2 M3 M4 M5 M6 M7 M8 M9 MIO MII MI2 MI3 M14 


图 8-4 近 1 个 月 来 缺陷 在 不 同 模块 的 分 布 
度量 4: 统计 缺陷 解决 方案 的 分 布 


测试 人 员 可 以 分 析 和 上 自己 所 提交 的 缺陷 是 如 何 被 解决 的 。 代 码 清单 8-6 通 过 
WHEREOpenBy = 'Wk' 利 选 出 特定 测试 人 员 提交 的 缺陷 ， 用 GROUP BY 
Resolution 对 解决 方案 分 组 ， 进 而 统计 出 每 种 方案 的 缺陷 数 。 图 8-5 是 用 
Excel 绘 制 的 查询 结果 分 布 图 。 该 图 表明 ， 有 52% 的 缺陷 被 解决 为 “不 能 
现 ”， 这 暗示 测试 手段 和 缺陷 报告 存在 改进 的 空间 。 测 试 人 员 应 该 仔细 阅读 
那些 “不 能 重 现 ” 的 缺陷 报告 ， 分 析 不 能 重 现 的 原因 ， 并 采取 改进 措施 (可 
参考 2.2.3 节 介绍 的 方法 ) 。 


代码 清单 8-6 ”缺陷 解决 方案 分 类 统计 


SELECT Resolution, COUNT(*) AS BugCount 
FROM dbo.Bug 

WHERE OpenBy = 'i' 

GROUP BY Resolution 


a 符合 设计 
a 重复 提交 
= 不 予 修复 

不 能 重 现 


修复 


图 8-5 缺陷 解决 方案 分 类 统计 


本 世 介 绍 了 几 种 简单 的 缺陷 度量 方法 ， 它 们 从 不 同 的 角度 分 析 已 提交 的 缺 
陷 报告 ， 可 为 进一步 的 技术 调查 提供 线索 。 这 些 度量 值 只 反应 了 产品 缺陷 
和 团队 工作 的 一 小 部 分 信息 。 为 了 获得 更 透彻 的 理解 ， 测 试 人 员 需 要 仔细 
阅读 缺陷 报告 ， 控 据 典 型 缺陷 、 测 试 策略 和 项 目 风 险 ， 并 将 研究 成 果 分 享 
给 团队 成 员 。 其 他 成 员 根据 其 知识 和 经 验 ， 能 够 补充 更 多 的 信息 ， 从 而 获 
得 更 完整 的 成 果 。 


8.2.2 MRE 


7.1.1 节 已 经 介绍 了 如 何 通过 度量 源 代 码 来 获得 测试 灵感 ， 本 节 仅 做 一 些 延 
伸 讨论 。 研 究 源 代码 的 基本 思路 仍 是 用 人 简单 的 度量 获得 代码 的 基本 信息 ， 
再 通过 代码 阅读 去 产生 测试 想法 。 


代码 清单 8-7 展 示 了 一 上 段 PowerShell 脚 本 ， 它 分 析 当 前 目录 及 其 子 日 录 下 的 
所 有 C# 文 件 ， 并 输出 文件 目录 、 文 件 名 、 文件 行 数 和 代码 复杂 度 到 控制 
o 其中， 代码 复杂 性 的 度量 方法 是 : 文件 的 复杂 度 = 文件 中 分 支 与 循环 
pe (文件 的 行 数 + 1) 。 代 码 清单 8-7 所 选择 的 分 支 与 循环 关键 
字 是 if、case » for `foreach `while 。 这 是 一 种 基于 文本 分 析 的 代 
ee = 能 够 用 很 简单 的 脚本 去 获得 一 些 基本 信息 ， 为 后 续 的 代码 阅读 提 
家 


代码 清单 8-7 分析 C# 文 件 的 行 数 和 代码 复杂 度 


$root = Get-Location 
"Folder tFile tLineCount tComplexity" 
Get-ChildItem *.cs -Recurse | %{ 
$folderName = $_.DirectoryName.Substring($root.Path.Length); 
$lines = Get-Content $_.FullName 
$lineCount = $lines.Length 
$opCount = ($lines | foreach { $_.split() } | 
where { $_ -in ('if', 'case', 'for', 'foreach', 'while') 
}).Length 
$complexity = $opCount / ($lineCount + 1) 
"$folderName t$($_.Name)  t$lineCount t$complexity" 


测试 人 员 用 代码 清单 8-7 分 析 NUnit 2.6.2 的 代码 ， 并 将 结果 重 定向 到 文本 文 
件 中 ， 再 用 Microsoft Excel 打 开 该 文本 文件 ， 获 得 如 图 8-6 所 示 的 数据 表 。 


A B C D 
2 \src\NUnitCore\core MethodHelper.cs 191 0.255208333 
3 | \src\NUnitCore\core TypeHelper.cs 211 0.245283019 
4 \\src\NUnitCore\interfaces\Extensibilit ITestCaseProvider.cs 60 0.213114754 
5 |\src\NUnitCore\core TestCaseBuilderAttribute.cs 18  0.210526316 
6 \src\NUnitFramework\framework\Cor Numerics.cs 363 0.18956044 
7 |\src\NUnitCore\core\Extensibility TestCaseProviders.cs 133 0.186567164 
8 \src\NUnitCore\interfaces\Extensibilit IExtensionPoint.cs 65 0.181818182 
9 \src\NUnitCore\core\Extensibility DataPointProviders.cs 116 0.179487179 
10 |\src\NUnitCore\interfaces\Extensibilit IDataPointProvider.cs 62 0.174603175 


图 8-6 NUnit2.6.2 的 代码 行 数 和 复杂 度 


基于 该 数据 表 ， 可 以 快速 找 出 复杂 度 最 高 的 10 个 文件 ， 结 果 见 图 8-7。 复 灯 
度 高 的 文件 往往 包含 复杂 的 逻辑 ， 在 代码 修改 的 过 程 中 更 可 能 引入 缺陷 。 
因此 ， 测 试 人 员 可 以 浏览 这 些 高 复杂 度 的 文件 ， 了 解 它 们 的 功能 ， 并 构思 
相应 的 测试 用 例 。 


MethodHelpercs 
TypeHelpercs 
ITestCaseProvider.cs 
TestCaseBuilderAttribute.cs 
Numerics.cs 
TestCaseProviders.cs 
IExtensionPoint.cs 
DataPointProviders.cs 


IDataPointProvider.cs 


FileAssert.cs 


0.3 
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图 8-7 NUnit2.6.2 中 复杂 度 最 高 的 10 个 C# 文 件 


代码 清单 8-8 展 示 了 复杂 度 最 高 的 MethodHelper ,cs 的 部 分 代码 。 这 段 代 
码 检 查 输 入 参数 (arg) 的 类 型 ， 并 根据 它 的 类 型 和 值 决定 显示 字符 串 
(display ) 的 值 。 因 为 要 处 理 每 种 可 能 的 类 型 和 特殊 取 值 ， 所 以 它 拥 有 
许多 舱 套 的 if 语句 ， 导 致 了 最 高 的 复杂 度 。 针 对 此 类 代码 ， 测 试 人 员 可 以 
从 以 下 角度 构思 测试 。 
。 代码 是 否 处 理 了 arg 的 所 有 情况 ? 长 长 的 if-else 语句 有 没有 漏 掉 
arg 的 一 个 可 能 类 型 ? 有 没有 漏 掉 arg 的 一 个 特殊 取 值 ? 此 类 遗漏 会 
导致 何 种 问题 ? 能 不 能 构造 测试 输入 来 暴露 问题 ? 


。 代码 处 理 arg 的 逻辑 是 否 正确 ? HA Bdisplay 的 构造 逻辑 是 否 正 
确 ? 


。 现 有 的 测试 用 例 是 否 实现 了 100% 的 分 支 覆 盖 率 ? 如 果 没 有 ， 需 要 补充 
哪些 测试 用 例 ? 


代码 清单 8-8 ”复杂 度 最 高 的 文件 MethodHelper .cs (局 部 ) 


else if (arg is long) 


long 1 = (long)arg; 

if (1 == long.MinValue) 
display = "long.MinValue"; 

else if (1 == long.MinValue) 
display = "long.MaxValue"; 


else 
display += "L"; 


else if (arg is ulong) 
{ 
ulong ul = (ulong)arg; 
if (ul == ulong.MinValue) 
display = "ulong.MinValue"; 
else if (ul == ulong.MinValue) 
display = "ulong.MaxValue"; 
else 
display += "UL"; 


else if (arg is string) 

{ 
StringBuilder sb = new StringBuilder(); 
sb.Append("\""); 
foreach (char c in (string)arg) 

sb.Append(EscapeControlChar(c)); 

sb.Append("\""); 
display = sb.ToString(); 


else if (arg is char) 


除了 调查 复 洒 的 代码 ， 测 试 人 员 还 可 以 利用 Excel 的 数据 透视 表 统计 出 每 个 
模块 (目录 ) 的 复杂 度 的 累加 值 ， 结 果 见 图 8-8。 这 些 模 块 通常 拥有 较 多 的 
代码 和 较 复 杂 的 功能 ， 更 容易 发 生 错 误 ， 是 重点 测试 的 候选 对 象 。 测 试 人 
员 可 以 浏览 其 源 代码 来 识别 测试 对 象 ， 并 确定 测试 策略 。 
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图 8-8 NUnit2.6.2 中 复杂 度 累加 值 最 高 的 10 个 目录 


测试 人 员 可 以 定期 运行 代码 度量 ， 以 持续 监控 代码 的 变化 。 通 过 比较 当前 
的 度量 值 和 之 前 的 度量 值 ， 他 可 以 识别 代码 行 数 和 复杂 度 增 器 较 大 的 六 
件 与 目录 。 基 于 该 信息 ， 他 会 调查 代码 变动 的 原因 ， 并 评估 风险 。 这 为 及 
时 调整 测试 重点 提供 了 支持 。 


8.2.3 ”构建 


大 多 数 团 队 都 部 署 了 专门 的 构建 服务 历 ， 实 施 持续 的 目 动 化 构建 。 因 为 源 
代码 和 构建 是 软件 研发 的 工作 核心 ， 测 试 人 员 应 该 了 解 代 码 签 入 和 构建 的 
规章 流程 ， 从 而 更 好 地 为 项 目 团队 服务 。 以 下 是 一 些 常 见 的 基本 问题 。 


。 在 签 和 之前， 产品 代码 需要 满足 什么 要 求 ? 程序 员 需 要 做 什么 工作 ? 
测试 人 员 需 要 做 什么 工作 ? 


如 琳 签 入 的 代码 导致 构建 失败 ， 构 建 服务 器 会 如 何 处 理 ? 谁 会 负责 通 
报 此 问题 ? 谁 会 负责 修复 构建 ? 


构建 服务 器 产生 新 构 建 需要 多 长 时 间 ? 如 果 程序 员 今天 下 班 前 签 入 代 
码 ， 明 天 早晨 能 够 获得 可 测试 的 构建 吗 ? 


产品 团队 有 时 需要 发 布 一 个 紧急 的 产品 补丁 或 快速 修复 线 上 系统 的 缺 
陷 。 对 于 此 类 重要 且 双 迫 的 代码 修改 ， 项 目 团队 制定 了 什么 流程 ? 也 
Hi 在 代码 签 入 之 前 ， 测 试 人 员 需 要 测试 程序 员 提 供 的 私有 构建 。 对 
测试 完成 的 标准 是 什么 ? 在 签 入 之 后 ， 测 试 人 员 需 要 检验 新 的 构 
bites 预期 的 修复 。 对 此 ， 测 试 完成 的 标准 是 什么 ? 


在 签 入 之 前 ， 测 试 代码 需要 满足 什么 要 求 ? 测试 人 员 应 该 如 何 保证 上 自 
己 的 代码 达到 团队 制定 的 质量 标准 ? 


在 了 解 了 基本 流程 之 后 ， 测 试 人 员 可 以 考虑 如 何 利用 源 代码 服务 磊 和 构建 
服务 右 为 测试 服务 。 以 下 是 一 些 常 见 的 做 法 。 


。 在 代码 变更 集 被 提交 后 ， 大 多 数 源 代码 管理 系统 会 发 送 邮 件 ， 列 出 签 
入 和 被 修改 的 文件 。 测 试 人 员 可 以 在 邮件 系统 中 设置 规则 ， 为 此 类 邮 
件 目 动 加 上 标签， 或 移动 到 指定 的 邮件 目录 。 然 后 ， 他 可 以 每 天 人 花 几 
分 钟 时 间 ， 浏 览 最 新 的 代码 签 入 邮件 ， 识 别 出 与 目 己 所 负责 模块 紧密 
相关 的 代码 改动 。 对 于 这 些 改 动 ， 他 可 以 再 多 伦 一 些 时 间 ， 查 看 哪些 
具体 代码 发 生 了 改动 ， 并 评估 其 风险 。 软 件 项 目 时 刻 变 动 ， 测 试 人 员 


很 难 准确 预测 所 有 的 代码 变更 。 持 续 监控 代码 签 入 能 够 帮助 测试 人 员 
及 时 发 现 值得 测试 的 内 容 。 


通常 构建 服务 器 将 产生 的 构建 放 在 一 个 共享 文件 夹 中 。 测 试 人 员 可 以 
编写 一 个 脚本 去 获得 最 新 的 安 狼 文件， 或 指定 版 本 的 安装 文件 。 假 
w, 构建 服 务 将 所 有 构建 保存 在 共享 文件 夹 \builds\product_abc 中 ， 
个 构建 拥有 单独 的 子 文件 来， 文件 夹 的 命名 模式 是 “[ 构 建 号 ] [构建 类 
型 ] [平台 ]”。 其 中 ， 构 建 号 形 如 1.0.1 (由 数字 和 点 构成 的 字符 串 ) ， 
构建 类 型 的 取 值 是 release 、debug 和 cover ， 平 台 的 取 值 是 x64 和 
x86。 因 此 ， 构 建 的 文件 路 径 类 似 于 
\\builds\product_abc\1.0.1_x64_ship ` 
Nbuilds\product_abc\1.0.2_x86_debug 等 。 代 码 清单 8-8 是 一 个 IronPython 
脚本 get_build.py， 它 搜索 存放 构建 的 共享 文件 夹 ， 获 得 所 有 子 目录 ， 
并 反 转 子 目 录 列 表 ， 使 得 构建 号 高 的 文件 夹 排 在 前 面 。 之 后 ， 它 扫 摘 
文件 夹 列 表 ， 如 果 某 个 文件 夹 符 合用 户 指 定 的 构建 和 号、 构建 类 型 或 平 
人 台 ， 它 束 会 输出 安装 文件 的 路 人 径 ， 并 将 该 路 径 复 制 到 剪贴 板 。 如 果 用 
户 不 指定 构建 和 号、 构建 类 型 或 平台 ， 脚 本 会 使 用 这 些 参数 的 默认 值 : 
构建 号 是 “.”( 它 可 匹配 任意 构建 号 )， 构 建 类 型 是 ship， 平 台 是 x64。 
此 时 ， 脚 本 会 选择 最 新 的 x64 平 台 的 ship 类 型 的 构建 。 利 用 该 脚本 ， 测 
试 人 员 只 需 运 行 一 条 命令 ， 就 可 以 获得 最 新 的 或 特定 的 安装 文件 的 路 
径 ， 而 省 去 了 手工 搜索 构建 路 径 的 开销 。 

基于 代码 清单 8-9， 测 试 人 员 可 以 编写 一 个 脚本 ， 以 目 动 安装 最 新 的 构 
建 。 利 用 操作 系统 的 定时 任务 ， 他 可 以 安排 测试 机 在 每 天 清晨 自动 反 
安装 产品 ， 然 后 安装 最 新 构建 。 当 他 上 班 的 时 候 ， 测 试 机 已 经 准备 好 
了 最 狐 版 本 的 产品 供 他 测试 。 


代码 清单 8-9 — get_build.py 


import System, sys, clr 
clr.AddReference("System.Windows.Forms" ) 
import System.Windows.Forms.Clipboard as Clipboard 


def find_value(argv, *values): 
for v in values: 
if v in argv: 
return v 
return values[0] 


def find_build_number (argv): 
for a in argv: 


return '.' 


argv = sys.argv[1:] 

build_number = find_build_number (argv) 

flavor = find_value(argv, 'release', 'debug', 'cover') 
platform = find_value(argv, 'x64', 'x86') 


root = r'\\builds\product_abc\2.0' 
folders = System.1I0.Directory.GetDirectories(root) 
for folder in reversed(folders): 
if (build_num in folder 
and build in folder 
and platform in folder): 
setup = r'%s\setup.exe ' % folder 
print setup 
Clipboard.SetText(setup) 
break 


# usage: 
# ipy.exe get_build.py [build_umber] [release|debug|cover] [x64|x86] 


8.2.4 自动 化 测试 


ae 目 团队 都 使 用 目 动 化 测试 来 检查 构建 的 质量 ， 典 型 的 工作 流程 如 


1. 构建 系统 生成 新 的 构建 ， 然 后 通知 目 动 化 测试 系统 。 

2. 目 动 化 测试 系统 配置 测试 环境 ， 并 部 署 新 构建 。 

3. 目 动 化 测试 系统 从 目 动 化 测试 仓库 获得 BVT 集 合 。 

4. 目 动 化 测试 系统 运行 测试 集合 ， 并 将 结 采 存 入 测试 结 采 仓库 。 

5. 如 采 BVT 结 采 显 示 新 构建 质量 民 好 ， 可 以 进一步 测试 ， 目 动 化 测试 系统 
获得 其 他 可 用 的 测试 集合 。 

6. 目 动 化 测试 系统 运行 测试 集合 ， 并 将 结 采 存 入 测试 结果 仓库 。 


其 中 ， 被 执行 的 目 动 化 测试 用 例 往往 由 测试 小 组 编写 ， 模 块 的 测试 负责 
会 编写 该 模块 的 测试 用 例 。 为 了 更 好 地 维护 测试 用 例 集合 ， 测 试 人 员 应 该 
周期 性 地 调查 儿 个 基本 的 问题 ， 并 根据 调查 结 采 制定 相应 的 行动 方案 。 


问题 1: 自动 化 测试 的 反馈 频率 如 何 ? 


运行 目 动 化 测试 的 目的 是 持续 、 快 速 、 稳 定 地 获得 产品 质量 的 有 反馈， 所 以 
测试 人 员 需 要 了 解 自动 化 测试 的 反馈 频率 。 在 许多 小 型 项 目 中 ， 项 目 团队 
会 每 天 运行 所 有 的 目 动 化 测试 用 例 。 因 此 ， 测 试 人 员 可 以 确信 新 签 入 的 代 
码 在 24 小 时 之 内 会 被 所 有 测试 用 例 检查 。 在 某 些 大 型 项 目 中 ， 目 动 化 测试 
的 数目 非常 庞大 ， 测 试 小 组 将 它们 分 成 儿 个 集合 ， 以 不 同 的 频率 运行 。 对 
此 ， 测 试 人 员 需 要 调查 几 个 具体 问题 。 


目 动 化 测试 拥有 哪儿 个 测试 集合 ? 例如 ， 一 些 测试 小 组 会 根据 测试 的 
性 质 ， 将 测试 用 例 划 分 为 : BVT 集 合 、 基 本 功能 测试 集合 、 完 整 功能 
测试 集合 、 性 能 测试 集合 。 


每 个 测试 集合 以 什么 频率 运行 ? 每 次 运行 需要 多 长 时 间 ? 例如 ， 在 某 
个 测试 小 组 中 ，BVT 每 天 运行 多 次 ( 耗 时 2 小 时 ， ， 基 本 功能 测试 集合 
每 天 运行 1 次 ( 耗 时 12 小 时 ) ， 完 整 功能 测试 集合 每 周 运行 1 次 PE 
48 小 时 ) ， 人 性 能 测试 集合 每 2 周 运 行 1 次 ( 耗 时 48 小 时 ) 。 


。 在 自己 负责 的 测试 用 例 中 ， 哪 些 应 该 以 更 高 的 频率 执行 ? 哪些 可 以 用 
较 低 的 频率 执行 ? 


调查 以 上 问题 的 目的 是 优化 测 弃 集合 ， 使 高 频率 运行 的 测试 集合 用 较 短 的 
时 间 发 现 严 重 的 缺陷 〈 这 些 缺陷 往往 使 后 续 的 测试 集合 遭遇 大 规模 的 失 

败 ) ， 使 低频 率 运 行 的 测试 集合 用 较 充 容 的 时 间 发 现 余下 的 缺陷 。 基 本 目 
标 征 既 可 以 尽早 发 现 严 重 的 缺陷 ， 又 确保 高 频率 的 测试 集合 在 规定 时 间 内 
完成 。 测 试 人 员 应 该 检查 目 己 的 测试 用 例 ， 将 重要 的 用 例 移入 高 频率 的 测 
试 集合 ， 将 不 太 重 要 的 用 例 移入 低频 率 的 测试 集合 。 对 于 痢 加 入 团队 且 接 
手 一 批 目 动 化 测试 的 测试 人 员 ， 这 是 一 项 “必修 ”的 功课 。 


问题 2， 上 自动 化 测试 覆盖 了 哪些 测试 点 ? 没有 和 覆盖 哪些 测试 点 ? 

测试 人 员 应 该 定期 检查 自己 负责 的 自动 化 测试 ， 以 评估 他 们 覆盖 了 哪些 需 
求 、 功 能 、 质 量 特性 、 用 户 情景 等 测试 点 。 其 目标 是 了 解 目 动 化 测试 已 经 
测试 了 哪些 内 容 一 一 这 些 内 容 无 需 手 工 重 复 测 试 。 更 重要 的 是 了 解 目 动 化 
人 


。 补充 目 动 化 测试 用 例 以 提高 测试 效率 。 有 些 功 能 是 产品 的 基础 ， 测 试 
人 员 应 该 尽快 发 现 其 中 的 严重 错误 。 然 而 ， 每 天 手工 地 检查 会 耗费 太 
多 资源 ， 且 占用 了 测试 其 他 功能 的 时 间 。 一 种 合理 的 策略 是 编写 测试 
用 例 ， 禾 芋 重 要 功能 的 基本 使 用 情景 ， 并 将 测试 用 例 加 入 每 日 运行 的 


测试 用 例 集 。 这 样 ， 测 试 人 员 可 以 在 24 小 时 内 发 现 破 环 产品 基础 功能 
的 严重 缺陷 。 


补充 目 动 化 测试 用 例 以 提高 测试 能 力 。 有 些 极 具 价值 的 测试 只 能 由 计 
算 机 执行 ， 例 如 6.4 玉 7 介绍 的 大 规模 自动 化 测试 它 利 用 计算 机 〈 集 
群 ， 的 强大 性 外 # 执 行 海量 测试 用 例 提供 了 手工 测试 无 法 匹敌 的 强力 
检查 。 此 外 ， 有 些 测试 涉及 复杂 的 计算 ， 手工 执行 容易 出 错 且 令 人 疲 
倦 。 对 此 ， 可 考虑 构建 数据 张 动 的 目 动 化 测试 ， 通 过 持续 增强 测试 数 
据 ， 来 逐渐 提高 对 各 种 计算 情况 的 测试 覆盖 。 


补充 目 动 化 测试 用 例 以 弥补 测试 漏洞 。 在 项 目 过 程 中 ， 测 试 人 员 和 产 
品 试用 者 会 发 现 许 多 缺陷 。 某 些 缺 陷 很 容易 通过 目 动 化 测试 来 捕获 ， 
但 是 由 于 自动 化 测试 集合 不 够 严密 ， 它 们 成 为 “漏网 之 鱼 ”。 在 处 理 软 
件 缺 陷 时 ， 测试 人 员 可 以 自问 ; 我 可 以 通过 增强 自动 化 测试 来 发 现 此 
类 缺陷 吗 ? 需要 付出 多 少时 间 才 能 完成 ? 如 果 所 需要 的 时 间 在 允许 范 
围 内 且 没 有 更 重要 的 任务 ， 测 试 人 员 可 以 编码 实现 新 的 测试 用 例 。 


补充 手工 测试 或 半自动 化 测试 以 确保 在 产品 发 布 前 测试 相关 内 容 。 在 
紧张 的 进度 压力 下 ， 可 能 没有 时 间 构 造 大 量 的 上 自动 化 测试 。 测 试 人 员 
需要 制订 切实 可 行 的 测试 计划 ， 综 合 利用 自动 化 测试 、 半 自动 化 测试 
和 手工 测试 ， 让 测试 工作 在 项 目 结束 前 达到 测试 完成 的 标准 。 


问题 3， 有 哪些 测试 用 例 需 要 重 构 ?” 有 哪些 测试 用 例 可 以 退役 ? 


测试 人 员 应 该 定期 检查 自动 化 测试 的 结果 ， 以 发 现 那些 失败 率 特 别 高 的 测 
试用 例 ， 并 分 析 失 败 的 原因 。 许 多 时 候 ， 测 试用 例 经 常 失败 是 因为 测试 代 
码 不 够 健壮 ， 不 能 够 妥善 处 理 产 品 运 行 过 程 中 的 种 种 情况 。 此 类 发 出 虚假 
警报 的 测试 用 例 给 目 动 化 测试 带 来 了 负面 影响 。 oe 测试 人 员 花 费 了 
宝贵 的 时 间 去 调查 测试 失败 ， 却 不 能 发 现 产 品 缺 陷 ， 男 一 方面 ， 虚 假 的 警 
报 降 低 了 测试 用 例 集 的 可 信和 度 ， 久 而 久之 ， 测试 人 员 会 对 测试 关 败 习 以 为 
和 常 ， 降 低 侦 测 产品 缺陷 的 警觉 性 。 所 以 ， 测 试 人 员 应 该 严肃 对 竺 不 恨 测试 
代码 ， 尽 可 能 将 其 重 构 为 稳健 的 代码 。 软 件 开发 专家 Gerard Meszaros 的 著作 
xUnit Test Patterns: Refactoring Test Code [Meszaros07] 详 细 描 述 了 测试 代码 
人 并 给 出 了 一 批 重 构 手 法 和 测试 设计 模式 ， 值 得 测试 人 员 参 


TE 


随 着 产品 的 发 展 ， 有 些 测试 用 例 的 逻辑 已 经 不 能 反映 当前 产品 的 状态 ， 属 
于 过 时 的 测试 代码 。 还 有 一 些 测 试用 例 的 检查 逻辑 已 经 被 其 他 测试 用 例 所 
实现 ， 属 于 “元 余 的 ?测试 用 例 。 为 了 提高 测试 集合 的 运行 速度 和 稳定 性 ， 
测试 人 员 可 以 考虑 让 这 些 测 试用 例 退 役 。 如 果 测 试 人 员 担心 去 除 测试 用 例 
会 降低 测试 履 盖 率 ， 他 可 以 检查 代码 有 覆盖 率 来 确认 删除 测试 是 “安全 的 ”。 


在 不 显 考 降低 覆盖 率 的 情况 下 ， 一 个 稳定 且 快 速 的 测试 用 例 集 有 要 明显 优 于 
一 个 缓慢 且 脆 弱 的 测试 用 例 集 。 


问题 4， 除 了 定期 运行 的 自动 化 测试 ， 还 有 哪些 测试 用 例 和 测试 工具 ? 


在 一 些 历 史 悠 久 的 项 目 中 ， 项 目 团 队 第 彰 积 素 了 大 批 的 目 动 化 测试 用 例 。 
某 些 测试 用 例 并 没有 加 入 正式 的 测试 集合 。 相 关 测 试 负 责 人 会 在 合适 的 时 
候 〈 如 产品 发 布 前 、 项 目 里 程 碑 结束 前 ) 运行 它们 ， 以 实施 特定 角度 的 测 
试 。 例 如 ， 一 些 项 目 团 队 会 安排 专人 负责 压力 测试 ， 他 维护 了 一 组 目 动 化 
测试 。 在 为 期 一 个 月 的 迭代 开发 中 ， 他 会 选择 一 个 周 林 ， 让 目 动 化 测试 反 
复 执行 ， 以 烘 露 骨 并 、 死 锁 、 内 存 泄 着 等 问题 。 周 一 ， 他 会 调查 测试 日 

志 ， 并 提交 缺陷 报告 。 新 加 入 团队 的 测试 人 员 应 该 了 解 这 些 被 暂时 “ 隐 

藏 * 的 测试 用 例 ， 考 虑 能 否 利用 它们 来 提高 目 己 的 测试 效率 。 例 如 ， 他 可 以 
考虑 为 自己 的 模块 编写 一 些 自 动 化 测试 ， 加 入 压力 测试 集合 ， 从 而 让 周末 
De Ree Cee enn wera een ine ea nroge 

错误。 


除了 目 动 化 测试 用 例 ， 项 目 团队 会 拥有 一 批 实用 工具 。 它 们 通常 切合 软件 
产品 或 拉 术 平台 的 特征 ， 能 够 帮助 测试 人 员 融 效 地 完成 配置 环境 、 部 署 产 
品 、 运 行 测试 、 调 试 诊断 等 任务 。 有 些 工 具 虽 不 常用 ， 但 对 于 解决 特定 类 
型 的 问题 ， 和 是 不 可 或 缺 的 利 磺 。 测 试 小 组 新 人 应 该 询问 领导 和 同事 ， 了 解 
团队 的 测试 工具 及 其 用 途 。 这 不 但 会 提高 测试 人 员 的 工作 效率 ， 而 且 可 以 
帮助 他 更 好 地 理解 产品 和 技术 。 


由 本 节 的 讨论 可 知 ， 研 究 与 维护 目 动 化 测试 的 目的 是 提高 软件 测试 的 效 
率 。 为 此 ， 测 试 人 员 需 要 根据 项 目的 测试 策略 ， 注 重 实效 地 发 展 上 自动 化 测 
试 。 随 着 项 目的 发 展 ， 他 需要 持续 地 分 析 并 调整 自动 化 测试 ， 让 它 快速 、 
稳定 、 有 效 地 提供 软件 的 质量 反馈 。 


8.3 ”基于 风险 的 测试 


聚焦 风险 是 一 种 基本 的 测试 策略 ， 而 风险 是 大 多 数 测试 活动 需要 考虑 的 基 
本 元 素 。 对 于 产品 而 言 ， 风 险 是 产品 可 能 遭遇 的 失败 。 无 论 失败 原因 是 远 
辑 错 误 还 是 能 力 局 限 ， 只 要 潜在 的 失败 危害 了 用 户 价 值 ， 就 构成 了 风险 。 
对 于 项 目 而 言 ， 风 险 是 令 项 目 产生 不 良 结果 的 事件 ， 或 不 良 结 果 本 身 
[DeMarco03]。 在 概念 上 ， 项 目 风 险 涵盖 了 产品 风险 ， 即 产品 可 能 遭遇 失败 
是 一 种 典型 的 项 目 风 险 。 


基于 风险 的 测试 (简称 “风险 测试 ”) 是 针对 特定 风险 设计 并 运行 测试 ， 以 
暴露 导致 项 目 失败 的 问题 。5.1 节 和 5.5 节 已 经 介绍 了 一 批 基于 风险 的 测试 技 
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8.3.1 通过 测试 调查 风险 
在 软件 项 目 中 ， 风 险 是 可 能 存在 的 导致 项 目 受 挫 的 问题 。 该 描述 有 两 层 含 
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第 一 ， 风 险 并 不 是 灾难 ， 它 只 是 可 能 发 生 ， 而 非 不 可 避免 ; 第 二 ， 风 
能 转化 为 灾难 〈 称 为 "风险 暴露 ") ， 给 项 目 带 来 损失 。 因 此 ， 测 试 人 


员 在 考虑 测试 活动 的 优先 级 时 ， 要 分 析 相 应 风险 的 暴露 概率 和 损失 大 小 。 


风险 又 露 的 概率 : 风险 由 潜在 问题 转化 为 具体 失败 的 概率 。 概 率 的 高 
低 与 产品 和 团队 的 特征 相关 。 例 如 ，C++ 程 序 出 现 内 存 泄漏 的 概率 较 
高 ，C# 程 序 不 会 出 现 传统 意义 上 的 内 存 泄漏 ( 即 不 被 引用 的 动态 内 存 
总 是 会 被 垃圾 回收 回回 收 ) 。 又 例如 ， 一 个 组 建 多 年 的 C++ 团队 积累 了 
一 批 好 的 开发 实践 、 程 序 库 、 调 试 工具 和 测试 工具 ， 他 们 所 开发 的 
C++ 程序 出 现 内 存 泄 漏 的 概率 会 比较 低 。 如 果 团 队 成 员 多 数 是 C++ 新 
人 
漏 的 问题 。 


风险 暴露 的 损失 ， 灾难 失败 所 导致 的 价值 损失 。 通 甫 ， 破 坏 用 户 数据 
的 失败 会 导致 重大 的 损失 。 试 想 一 下 ， 如 采 软 件 失败 导致 用 户 的 数据 
库 被 破坏 ， 用 户 基 于 错误 的 数据 进行 了 大 量 的 销售 交易 ， 这 和 努 必 造 成 
严重 的 财务 损失 。 此 外 ， 软 件 毅 福 等 错误 会 阻塞 用 户 的 工作 流 ， 使 得 
他 们 不 能 正常 完成 业务 ， 也 会 造成 大 量 的 〈 财 务 ) 损失。 如果 在 项 目 
后 期 甚至 在 产品 发 布 后 才 发 现 这 些 严 重 的 缺陷， 软件 项 目 会 遭 到 沉重 
的 打击 ， 软 件 企 业 可 能 需要 向 用 户 支 付 巨 额 赔偿 。 


根据 概率 和 损失 ， 测 试 人 员 可 以 评估 风险 的 优先 级 。 


一 种 定量 的 优先 级 评估 方法 是 ， 风 险 的 优先 级 = 风险 暴露 的 概率 x 风险 
暴露 的 损失 ， 其 中 风险 暴露 的 概率 是 0 到 1 之 间 的 浮 点 数 ， 风 险 暴 露 的 
损失 用 赔偿 金额 来 评 佑 。 该 方法 的 优点 是 可 以 获得 数值 形式 的 优先 
级 。 这 样 ， 测 试 人 员 能 够 对 所 有 风险 进行 线性 排序 ， 使 测试 重点 一 目 
了 然 。 其 不 足 是 测试 人 员 有 时 很 难 用 金额 去 准确 评估 风险 的 损失 ， 而 
且 不 同 的 人 可 能 给 出 差异 很 大 的 估算 值 ， 令 优先 级 的 评估 结 末 存 在 争 
议 。 


测试 人 员 也 可 以 定性 评估 风险 的 优 移 级 。 其 中 ， 概 率 的 取 值 集合 是 
{很 低 、 低 、 中 、 高 、 很 高 } ， 损 失 的 取 值 集合 是 { 很 小 、 小 、 中 、 
大 、 很 大 }。 一 般 而 言 ， 高 概率 、 大 损失 的 风险 拥有 最 高 优先 级 ， 值 
得 重点 测试 。 该 方法 的 不 足 是 不 能 对 风险 项 进行 线性 排序 ， 不 能 立即 
判定 两 个 风险 项 的 优先 顺序 。 例 如 ， 一 个 风险 项 是 高 概率 、 小 损失 ， 


男 一 个 风险 项 是 低 概 率 、 大 损失 ， 谁 的 优先 级 更 高 并 没有 统一 的 评判 
A 测试 人 员 可 以 咨询 产品 经 理 、 领 域 专家 和 用 户 ， 请 他 们 
ne TFT ° 


风险 测试 的 主要 任务 是 分 析 项 目 风险 ， 然 后 设计 相应 的 测试 来 又 露 失败 。 
这 并 不 是 一 个 线性 的 过 程 ， 它 是 随 项 目 进展 而 和 迭代 展开 的 。 测 试 专家 Jams 
Bach 认 为 测试 本 身 束 是 风险 分 析 ， 即 测试 人 员 应 该 通过 风险 测试 去 迭代 地 
评 佑 风险 的 概率 、 损 失 和 优先 级 。 他 用 图 8-9 解 释 了 风险 测试 的 循环 过 程 
[Bach11] ° 
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图 8-9 基于 风险 的 测试 项 目 迭 代 


由 图 8-9 可 知 ， 在 测试 项 目 中 ， 存 在 风险 分 析 的 长 回路 和 短 回 路 。 长 回路 呐 
罕 整 个 项 目 周期 ,利用 整个 项 目 来 分 析 领 域 风 险 。 长 回路 包含 如 下 阶段 。 


1. 进入 新 项 目 。 


2. 分 析 可 能 的 风险 ， 拟 定 需要 测试 的 风险 列表 。 这 时 ， 测 试 人 员 对 产品 和 
领域 还 缺乏 了 解 ， 很 难 提 出 针对 性 很 强 的 风险 列表 。 为 了 提高 风险 列表 的 
质量 ， 他 需要 运用 自身 的 知识 和 经 验 ， 还 要 阅读 相关 测试 文档 、 咨 询 领域 
专家 、 请 教 有 经 验 的 同事 等 。 


和 
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4. 回顾 整个 项 目 过 程 ， 分 析 所 发 现 的 问题 ， 列 出 项 目 领域 的 常见 风险 。 这 
为 今后 的 项 目 提供 了 第 一 手 的 风险 分 析 资 料 。 


在 短 回 路 中 ， 测 试 人 员 实施 具体 的 测试 ， 并 根据 测试 所 发 现 的 新 信息 来 评 
佑 风险 。 短 回路 包含 如 下 活动 。 


1. 根据 当前 的 风险 列表 ， 实 施 相应 的 测试 。 测 试 人 员 可 以 利用 预先 编制 的 
测试 脚本 ， 也 可 以 实施 探索 式 测 试 一 一 根据 测试 结果 ， 立 即 设计 新 的 测 
试 。 通 常 ， 测 试 人 员 很 难 预测 产品 存在 哪些 人 风险、 风险 隐藏 于 哪些 模块 、 
a E E SRA 
测 的 任务 。 


a 评估 已 经 发 现 的 问题 ， 根 据 实际 情况 推测 其 他 风险 存在 的 可 能 


3. 测试 人 员 根 据 评 佑 结果， 调整 风险 列表 。 他 会 补充 新 浮现 的 风险 ， 并 根 
据 测 试 情况 修改 已 有 风险 的 概率 和 损失 。 


4. 根据 新 的 风险 列表 ， 测 斌 人员 设计 并 执行 新 的 测试 。 


总 体 而 言 ，James Bach 的 流程 建议 测试 人 员 充 分 利用 测试 的 大 代 性 ， 在 项 目 
全 过 程 建立 风险 分 析 的 反馈 回路 。 这 有 助 于 尽快 识别 新 出 现 的 问题 ， 并 让 
测 放逐 渐 珊 近 那 些 隐藏 的 问题 。 


8.3.2 ”失败 模式 


根据 上 一 小 和 的 讨论 ， 风 险 列 表 是 测试 设计 的 重要 参考 ， 它 记载 了 产品 可 
能 存在 的 问题 。 其 核心 是 描述 产品 失败 方式 的 失败 模式 ， 它 刻画 了 失败 的 
情景 和 特征 [Kaner11] ° 


快速 测试 是 一 种 典型 的 基于 风险 的 测试 技术 〈 参 见 5.5 节 ) 。 它 由 一 组 测试 
想法 构成 ， 每 个 测试 想法 都 针对 某 个 风险 (失败 模式 ) 。 表 5-4、 表 5-5 和 表 
5-6 就 列举 了 大 量 的 测试 想法 和 它们 所 针对 的 风险 。 这 些 表 来 源 于 测试 专家 
多 年 的 积 票 。 他 们 在 测试 工作 中 收集 了 许多 具体 的 缺陷 ， 经 过 分 析 提 炼 ， 
获得 了 一 组 有 代表 性 的 失败 模式 。 针 对 这 组 模式 ， 他 们 提出 了 一 组 测试 想 
法 ， 并 让 它们 经 受 测试 实践 的 打磨 。 其 成 果 是 一 组 易学 易 用 的 失败 模式 和 
测试 想法 。 

测试 专家 Cem Kaner 认 为 失败 模式 是 一 种 通用 的 风险 测试 技术 ， 可 以 有 效 地 
产生 大 量 的 测试 想法 。 为 此 ， 他 提供 了 一 组 问题 ， 大 助 测试 人 员 发 掘 失败 
模式 [Kaner11] ° 


。 针对 产品 的 每 个 模块 或 功能 ， 测 试 人 员 思 考 其 失败 模式 和 测试 方法 。 


o 该 功能 可 能 会 触发 哪些 失败 ， 即 包含 哪些 失败 模式 ? 
o 对 于 特定 的 失败 ， 它 具有 哪些 外 部 特征 ? 
o 如 何 检测 该 失败 ? 
o 检测 该 失败 需要 多 少 测 试 资源 ? 
。 在 获得 失败 模式 后 ， 测 试 人 员 可 以 评估 其 影响 ， 即 执行 影响 分 析 。 
o 该 失败 可 能 有 了 哪些 影响 ? 
o 其 影响 包含 哪些 变化 因素 ? 
该 失败 的 最 严重 损失 是 什么 ? 平均 损失 是 什么 ? 
”修复 导致 该 失败 的 缺陷 需要 多 少 资 源 ? 


和 
吗 ? 


利用 以 上 问题 ， 测 试 人 员 可 以 获得 初始 的 失败 模式 列表 。 除 此 之 外 ， 他 还 
可 以 参考 其 他 测试 文档 ， 以 补充 更 多 的 失败 模式 和 测 斌 想法。 常见 的 参考 
资料 包括 测试 指南 (3.2.7 节 ) 、 测 试想 法 列表 (3.2.8) ` REIR 
(3.2.1177) ` RHR (3.2.1277) 等 。 综 合 考虑 他 人 的 研究 成 果 可 以 更 
快 地 产生 测试 想法 ， 并 弥补 目 身 知识 和 经 验 的 不 足 。 


随后 ， 测 试 人 员 将 失败 模式 列表 作为 风险 列表 ， 用 来 指导 风险 测试 。 他 将 
个 失败 模式 看 作 一 个 风险 ， 设 计 并 执行 具体 的 测试 来 发 掘 缺 陷 。 在 此 过 
程 中 ， 他 不 但 会 发 现 新 的 软件 缺陷 ， 还 会 学 习 到 新 的 业务 知识 、 产 品 知识 
和 技术 知识 。 结 合 这 些 新 发 现 ， 他 应 该 积极 评估 现 有 失败 模式 的 有 效 性 ， 
和 


经 过 短 回 路 的 反复 锤炼 ， 在 项 目 结束 时 ， 测 试 人 员 可 以 获得 一 份 针 对 当前 
领域 和 产品 的 失败 模式 列表 。 这 为 下 一 轮 长 回路 的 测试 提供 了 坚实 的 基 
础 。 这 份 列表 不 但 是 测试 计划 的 重要 参考 ， 还 是 很 好 的 培训 资料 
[Kaner11]。 通过 阅读 它 ， 测 试 小 组 的 新 成 员 能 够 了 解 产 品 特征 ， 实 施 快速 
测试 。 通 过 测试 ， 他 们 可 以 更 好 地 学 习 产品 ， 并 初步 体会 当前 领域 的 主要 


风险 。 


(0) 


8.3.3 项目 级 别 的 风险 


除了 软件 缺陷 ， 测 试 人 员 还 需要 考虑 项 目 级 别 的 风险 。 此 类 风险 如 果 转 化 
为 灾难 ， 有 可 能 导致 项 目 失 败 。 表 8-1 是 Cem Kaner 总 结 的 项 目 级 别 的 风险 
[Kaner11] ° 


表 8-1 Cem Kaner 总 结 的 项 目 级 别 的 风险 


5 


新 代码 尚未 经 过 严格 测试 ， 可 能 包含 较 多 缺陷 


ae 


新 技术 可 能 引入 一 些 难以 预料 的 问题 


新 事物 、 新 技术 时 ， 团 队 成 员 更 容易 犯错 


代码 变更 可 能 使 已 有 代码 不 能 1 


团队 不 使 用 源 代码 管理 系统 ， 代 码 文件 会 被 自 改 或 意外 删除 


队 必 须 在 发 布 前 紧急 改动 代码 。 紧 张 的 进度 和 匆忙 的 工作 很 容易 导致 


队 承 担 了 太 多 的 工作 ， 以 致 于 很 难 高 质量 地 完成 它们 


队 会 犯 更 多 的 错误 


同 地 点 的 团队 会 面临 交流 困难 ， 缺 乏 交 流 会 导致 不 一 致 的 理解 ， 而 不 
解 会 导致 不 能 协同 工作 的 代码 


形 色 色 的 人 构成 ， 他 们 可 能 遭遇 各 种 问题 ， 如 柄 酒 、 离 异 、 
H 
EY 


AN 


员 彼 此 不 说 话 等 。 这 些 都 会 对 代码 产生 负面 影响 


得 到 仔细 地 设计 ， 以 致 于 对 其 他 功能 产生 了 不 良 影响 


中 的 缺陷 


现 的 任务 有 可 能 被 


当中 的 模糊 描述 会 导 


冲突 的 需求 有 可 能 损害 一 部 分 关系 人 的 利益 


当 一 些 重要 的 议题 没有 被 讨论 或 记录 ， 它 们 可 能 没有 得 到 充分 地 考虑 ， 或 者 它 
们 的 设计 者 试图 隐藏 其 中 的 问题 


团队 可 能 漏 掉 了 一 些 正当 的 需求 ， 以 致 于 损害 了 产品 的 质量 


在 整个 项 化 ， 这 很 容易 导致 项 目 失败 


产品 的 每 个 部 分 都 存在 i 


出 许多 缺陷 ， 那 么 它 可 能 还 隐藏 了 不 少 其 他 问题 


一 个 模块 依赖 于 它 的 上 游 模块 。 上 游 模块 的 改动 或 延期 会 导致 该 模块 出 现 问 题 


一 个 模块 依赖 于 它 的 下 游 模 块 。 该 模块 的 改动 或 延期 会 造成 下 游 模块 出 现 问 题 


在 时 间或 空间 上 发 散 又 必须 协同 了 事物 ， 它 们 的 复杂 性 会 引入 缺陷 


主题 的 函数 或 数据 都 容易 被 误 用 


解 的 事物 很 难 被 正 


编程 语言 会 引入 一 些 风险 ， 例 如 C 语 言 的 悬挂 指针 、 内 存 泄漏 等 


极 少 的 
单元 测 | RE TMA AIL 
T 


狭 罕 的 
ar 狭 罕 的 测试 策略 会 遗漏 大 量 的 缺陷 
lt 


试 工 具 不 能 帮助 测试 人 员 发 现 和 分 离 某 类 人 缺陷， 那么 该 类 缺陷 可 能 会 被 


一 些 缺 陷 报告 被 解决 为 “不 予 修复 ”， 因 为 没有 人 知道 该 如 何 修复 它们 


如 果 测 试 人 员 只 能 缓慢 、 困 难 、 低 效 地 测试 某 个 功能 ， 那 么 该 功能 很 可 能 没 得 
到 充分 地 测试 


RR 某 个 特性 的 FAAA 和 负面 报道 ， 它 就 值得 重点 


某 个 特性 的 失败 会 导致 诉讼， 它 就 值得 重 


某 个 特性 的 失败 会 导致 重 


与 需求 严 丝 合 颖 ， 它 就 值得 重点 


某 个 特性 需要 小 心 使 用 或 用 户 培训 ， 它 就 值得 重点 


某 个 特性 物 户 使 用 ， 它 就 值得 重 


RR 某 个 特性 对 业务 特别 重要 ， 它 就 值得 重点 考虑 


某 个 特性 被 重要 人 物 所 使 用 ， 


某 个 特性 的 失败 会 导致 显著 的 后 果 或 令 用 户 愤怒 ， 它 就 值得 


其 个 失败 会 被 产品 暂时 隐藏 ， 却 最 终 导 致 灾难 ， 它 就 值得 重点 


测试 人 员 可 以 将 表 8-1 当 作 通 用 的 风险 列表 。 在 项 目 之 初 ， 他 根据 该 列表 研 
究 项 目 和 团队 ， 分 析出 值得 持续 监控 的 风险 ， 并 将 相应 的 测试 想法 写 入 测 
试 计划 。 在 项 目 过 程 中 ， 他 需要 持续 监控 产品 的 风险 ， 并 适时 地 调整 风险 
列表 和 测试 策略 。 


对 于 许多 项 目 级 别 的 风险 ， 单 个 测试 人 员 并 没有 资源 加 以 完整 地 监控 。 但 
是 ， 测 试 人 员 有 责任 在 自己 负责 的 领域 实施 风险 测试 ， 以 积极 探测 项 目 级 

别 的 风险 。 一 旦 发 现 某 个 风险 有 可 能 转化 为 灾难 ， 他 应 该 立即 向 测试 经 理 
汇报 。 当 项 目 管理 者 用 时 地 获得 警报 时 ， 他 们 就 可 以 采取 必要 的 行动 去 站 
灾难 。 


8.4 小 结 

本 章 讨 论 了 如 何 从 测试 的 角度 来 研究 项 目 和 团队 ， 介 绍 了 一 些 实践 方法 。 
测试 人 员 应 该 主动 了 解 项 目 团队 的 使 命 、 目 标 和 运作 方式 。 

研究 项 目 团队 的 最 佳 方法 是 执行 具体 的 测试 任务 ， 并 积极 地 咨询 与 反 


使 用 语 境 独 立 的 启发 式 问题 可 以 多 角度 地 研究 项 目 语 境 。 

人 ， 在 一 起 工作 的 人 ， 是 项 目 语 境 中 最 重要 的 部 分 。 

为 了 更 好 地 与 同事 协作 ， 测 试 人 员 需 要 了 解 他 们 的 思考 风格 。 
积极 主动 的 讨论 是 恨 好 协作 的 基础 。 


从 软件 缺陷 、 源 代码 、 构 建 、 目 动 化 测试 等 项 目 元 素 中 ， 能 够 获得 许 
多 有 益 的 测试 信息 。 


利用 简单 的 度量 束 可 以 获得 许多 有 价值 的 情报 。 
芝 于 风险 的 测 谍 针 对 项 目 风险 设计 并 运行 测 襄 ， 以 发 据 可 能 本 在 的 间 
题 。 


测试 本 喘 吏 是 风险 分 析 ， 它 是 一 个 迭代 过 程 。 
在 测试 实践 中 积 素 失败 模式 可 以 帮助 测试 小 组 更 好 地 测试 。 
测试 人 员 有 责任 监控 和 报告 项 目 级 别 的 风险 。 


Bom 团队 工作 


大 多 数 测 试 人 员 都 工作 在 一 个 团队 中 ， 其 工作 的 主要 内 容 是 持续 地 回 项 目 
团队 和 项 目 关系 人 提供 测试 服务 。 有 时 他 会 长 时 间 地 独立 测试 ， 但 最 终 他 
还 是 需要 与 团队 成 员 协 作 ， 使 技术 调查 的 结果 推动 产品 的 发 展 。 在 很 大 程 
度 上 ， 测 试 人 员 的 工作 价值 取决 于 他 对 项 目 团队 的 贡献 。 


本 章 探讨 测试 人 员 如 何 有 效 地 在 团队 中 工作 ， 以 及 如 何 恰当 地 实施 测试 管 
理 。 本 书 的 目标 读者 是 第 一 线 的 测试 人 员 ， 所 以 本 章 并 不 讨论 测试 经 理 如 
何 管理 测试 小 组 ， 而 是 分 析 测 试 人 员 如 何 面 对 项 目 管理 的 一 些 挑战 。 


9.1 工作 风格 

不 同 的 项 目 团 队 拥 有 不 同 的 工作 风格 ， 这 要 求 测 试 人 员 根 据 团 队 情 况 来 调 
整 目 己 的 工作 方式 。 不 过 ， 在 职业 生涯 中 ,测试 人 员 应 该 秉持 一 些 基本 态 
度 ， 让 它们 指导 具体 的 工作 。 本 节 分 享 我 的 一 些 心得 ， 仅 供 读者 思考 。 
9.1.1 测试 人 员 通 过 服务 团队 来 体现 自己 的 价值 
在 项 目 层 面 ， 测 试 人 员 应 该 持续 地 提供 高 质量 的 测试 服务 ， 帮 助 项 目 团 队 
成 功 地 交付 产品 ; 在 企业 层面 ， 测 试 人 员 应 该 帮助 公司 去 达成 业务 目标 。 
这 是 对 “专业 人 员 ” 的 基本 要 求 ， 但 并 不 容易 做 到 。 

首先 ， 测 试 人 员 应 该 设 定 正 确 的 工作 目标 。 管 理学 大 师 Peter Drucker 指 出 ， 
执行 经 理 是 掌管 自己 时 间 的 价值 并 影响 机 构 执行 能 力 的 人 ， 而 大 多 数 知识 
工人 都 是 执行 经 理 [Drucker93]。 在 实际 测试 中 ， 测 试 人 员 可 以 决定 技术 调 
查 的 范围 、 深 度 和 手段 。 即 便 项 目 团队 给 出 了 详细 的 测试 脚本 ， 测 试 人 员 
在 测试 运行 、 问 题 调查 ( 缠 含 设计 新 的 测试 用 例 ) 、 缺 陷 提 交 、 状 态 报告 
等 具体 任务 中 ， 仍 具有 很 大 的 自主 性 。 因 此 ， 专 业 的 测试 人 员 会 主动 将 自 
己 看 作 执 行经 理 ， 去 积极 地 设 定 工 作 目 标 ， 有 效 地 利用 时 间 。 

为 了 设 定 正确 的 目标 ， 他 需要 思考 一 系列 问题 。 

。 公司 的 业务 战略 是 什么 ? 

。 当前 项 目的 使 命 是 什么 ? 它 如 何 支持 公司 的 战略 ? 

。 项 目 团 队 的 具体 目标 是 什么 ? 它们 如 何 实 现 项 目 团 队 的 使 命 ? 

。 我 有 哪些 具体 目标 ? 如 何 让 自己 的 目标 支持 团队 的 使 命 ? 

。 做 哪些 具体 的 工作 才能 实现 目 己 的 目标 ? 
回答 这 些 问 题 并 不 容易 ， 但 只 有 经 过 慎重 的 思考 ， 才 能 让 个 人 目标 符合 团 


队 利益 。 许 多 时 候 ， 如 果 测 试 人 员 不 擎 握 足 够 的 信息 ， 束 难以 制订 合理 的 
工作 计划 。 这 时 ， 他 可 以 请 教 测试 经 理 和 项 目 负责 人 ， 请 他 们 解释 团队 目 


标 和 优先 级 。 好 的 领导 会 为 团队 指明 方向 ， 并 帮助 测试 人 员 安 排 具 体 工作 
项 的 优先 级 。 


在 确定 具体 的 工作 项 时 ， 测 试 人 员 应 该 放宽 视野 ， 不 必 计 较 工 作 划 分 的 边 
界 。 因 为 软件 测试 是 通过 技术 调查 来 提供 产品 的 质量 信息 ， 所 以 测试 人 员 
的 工作 核心 是 为 项 目 团 队 和 关系 人 提供 信息 服务 (参见 1.2 市 ) 。 因 此 ， 当 
团队 或 关系 人 需要 质量 信息 时 ， 只 要 有 足够 的 空 采 时 间 ， 测 试 人 员 就 应 该 
主动 提供 服务 。 此 外 ， 测 试 人 员 应 该 意识 到 他 是 测试 小 组 的 一 份子 ， 当 测 
试 伙 伴 需 要 帮助 时 ， 他 也 应 该 积极 啊 应 。 多 承担 一 些 工 作 会 让 测试 人 员 和 更 
忙碌 ， 但 这 也 是 积 索 经 验 、 提 升 拉 能 、 提 升 影响 力 的 好 办 法 。 总 体 而 言 ， 
一 个 积极 的 测试 人 员 能 够 更 快 地 成 长 ， 更 有 可 能 脱颖而出 。 


在 设 定 目标 之 后 ， 测 试 人 员 需 要 认真 地 完成 自己 的 工作 。 坦 率 地 说 ， 许 多 
必 不 可 少 的 测试 工作 是 比较 枯燥 的 。 例 如 ， 项 目 团队 需要 发 布 一 个 紧急 的 
产品 补 本 。 在 修复 代码 等 入 之 前 ， 测 试 人 员 测 试 该 代码 变更 ， 检 查 它 确实 
修复 了 问题 且 没 有 引入 新 的 缺陷 。 在 代码 签 入 之 后 ， 构 建 服务 右 产 生 了 发 
布 给 用 户 的 补丁 。 为 了 发 现 签 入 和 构建 过 程 的 错误 ， 测 试 人 员 需 要 测试 发 
布 版 本 的 补丁 ， 主 要 工作 包括 : 安 帮 产品、 测试 补丁 的 安装 、 再 雇 检查 补 
本 确实 修复 了 问题 、 测 斌 补丁 的 反 安 痛 。 在 大 多 数 情 况 下 ， 对 发 布 版 本 的 
测试 不 会 发 现 新 间 题 ， 而 且 这 部 分 工作 也 没有 技术 挑战 ， 因 为 答 入 前 的 测 
试 已 经 解决 了 所 有 技术 问题 。 但 是 ， 该 工作 是 必须 的 ， 因 为 项 目 团 队 必须 
防备 一 些 难以 预料 的 小 概率 事件 ， 例 如 程序 员 在 签 入 时 意外 地 修改 了 一 行 
代码 、 男 一 个 程序 员 同时 签 入 的 代码 意外 地 禾 盖 了 本 次 修复 、 男 一 个 团队 
同时 签 入 的 代码 与 本 次 修复 不 兼容 等 。 所 以 ， 专 业 的 测试 人 员 会 理解 任务 
的 意义 ， 用 负责 而 不 是 敷衍 的 态度 去 处 理 一 些 “ 无 趣 ” 的 任务 ， 并 让 工作 质 
量 达 到 团队 认可 的 标准 。 


另 一 种 积极 面 对 “ 无 聊 ? 工 作 的 方法 是 用 创新 思维 来 重新 思考 任务 。 例 如 ， 

在 测试 补丁 的 活动 中 ， 机 械 且 元 长 的 手工 操作 包括 : 安装 产品 、 安 装 已 经 
发 布 的 补丁 、 安 装 被 测 补 本 等。 为 了 提高 效率 ， 测 试 人 员 可 以 编写 一 个 脚 
本 ， 去 目 动 完 成 这 些 安 闭 操作 。 这 将 一 个 枯燥 的 手工 任务 转变 为 一 个 目 动 
化 挑 成 。 也 许 编 写 目 动 化 脚本 的 时 间 会 比 手工 安装 的 时 间 多 5 倍 。 但 是 ， 通 
过 编写 脚本 ,测试 人 员 提 升 了 编程 能 力 ， 学 习 了 安 流 产品 和 补丁 的 知识 ， 

这 对 于 他 未 来 的 工作 大 有 神 益 。 此 外 ， 该 脚本 可 以 分 圣 给 测试 小 组 ， 以 提 
i eee oc a eee 


9.1.2 ”测试 人 员 应 该 正直 


Rg 


对 测试 人 员 而 言 ， 正 直 是 客观 公正 地 处 理工 作 并 始终 诚实 地 报告 质量 问 
对 。 


对 于 一 些 程序 员 而 言 ， 缺 陷 报告 传递 的 是 一 种 “负面 ”信息 。 当 程序 员 接 到 
缺陷 报告 后 ， 他 不 得 不 放下 更 有 趣 的 新 功能 开发 ， 转 而 去 调查 某 个 疑难 杂 
证 。 这 打 断 了 他 的 工作 流 ， 引 入 了 任务 切换 的 开销 ， 带 来 了 额外 的 工作 。 
一 旦 决定 修复 该 缺 隐 ， 他 还 需要 编写 、 测 试 、 签 入 代码 ， 这 会 耗费 他 更 多 
的 时 间 。 此 外 ， 有 些 程序 员 认为 缺陷 报告 是 对 其 工作 的 批评 与 质疑 ， 这 在 
无 形 中 令 他 对 缺陷 报告 怀 有 戒备 之 心 。 因 此 ， 专 业 的 测试 人 员 应 客观 地 传 
递 信息 ， 应 该 报告 的 是 产品 需要 解决 的 问题 ， 而 不 是 对 任何 人 的 批评 。 用 
责备 或 轻视 的 语气 报告 缺陷 对 于 解决 缺陷 并 没有 帮助 ， 反 而 激 起 了 充满 目 
我 保护 的 辩论 ， 让 相关 人 员 的 注意 力 偏离 了 缺陷 本 身 。 


对 于 一 些 项 目 负责 人 而 言 ， 缺 陷 报告 也 不 是 “好 消息 ”>， 它 们 销 常 代表 了 严 
重 的 产品 问题 ， 增 大 了 项 目 延 期 的 可 能 性 。 因 此 ， 在 项 目 结束 前 夕 ， 他 对 
缺陷 报告 的 第 一 反应 是 :“ 为 什么 OR) 现在 才 发 现 这 个 问题 ? ”或 “这 为 什 
么 是 一 个 问题 ? ”。 如 果 其 语气 暗示 出 质疑 或 责备 ， 那 么 传递 “ 坏 消息 ”的 测 
试 人 员 将 承担 很 大 的 压力 。 面 对 此 类 情况 ， 测 试 人 员 应 该 坚持 如 实 报 告 问 
题 ， 因 为 作为 信息 服务 者 ， 诚 实 可 信和 是 测试 人 员 的 最 基本 要 求 。 隐 瞒 或 扭 
a a 
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上 工 关于 该 缺陷 的 来 龙 去 脉 请 参考 我 的 博客 文章 : 

| http://www.cnblogs.com/liangshi/archive/2010/09/05/1818554.html ， 
| http://www.cnblogs.com/liangshi/archive/2010/09/07/1820540.html ， 
| http://www.cnblogs.com/liangshi/archive/2010/09/09/1822015.html ° 


在 一 个 Web 服 务 发 布 前 夕 ， 我 发 现 了 一 个 关 重 的 月 并 缺 陷 。 在 接 到 通知 
后 ， 程 序 员 提 供 了 一 份 包含 修复 的 私有 构建 。 经 过 近 一 周 的 压力 测 
试 ， 我 相信 当前 的 私有 构建 不 存在 骨 并 问题 。 我 将 这 一 信息 口头 报告 
给 程序 员 ， 通 知 他 可 以 签 入 修正 代码 。 


FEA MLA ` Swab > MAME > RSMAS, HK 
并 没有 在 缺陷 管理 系统 中 记录 相应 的 缺陷 。 事 后 证 明 我 没有 用 缺陷 来 
追 踩 朋 演 问 题 是 闫 重 失 职 ， 但 那 时 我 也 有 “充分 ”的 理由 。 


下 和 完 ， 当 时 处 于 发 布 前 夕 ， 缺 陷 修 复 规则 是 任何 新 发 现 的 缺陷 都 要 在 
24 小 时 之 内 修正 ， 或 放 到 下 一 次 发 布 再 修正 。 这 次 的 朋 江 非常 复 洒 ， 
我 分 析 内 存 转 储 文件 时 没有 把 握 可 以 在 24 小 时 内 找到 解决 方法 。 即 便 


拿 到 了 私有 构建 ， 我 也 需要 几 天 的 时 间 来 做 压力 测试 ， 才 能 检验 修复 
的 有 效 性 。 我 不 记录 缺陷 ， 是 为 了 争取 更 多 的 时 间 。 


其 次 ， 管 理 层 对 24 小 时 的 时 间 窗 口 非 常 重视 ， 总 是 在 催促 程序 员 修正 
错误 ， 或 将 不 严重 的 错误 推迟 到 未 来 的 发 布 。 这 在 心理 上 给 程序 员 巨 
大 的 压力 。 大 家 在 潜意识 中 认为 ， 如 果 不 能 在 24 小 时 内 “搞定 ”缺陷 ， 

目 己 的 工作 绩效 会 受到 影响 。 程 序 般 溃 是 严重 的 问题 ， 但 是 其 根源 是 
一 个 很 难 重 现 的 .NET CLR (Common Language Runtime) EKA o PESC 
这 样 一 个 可 能 不 那么 “要 紧 * 的 缺陷 ， 如 果 程 序 员 不 能 在 24 小 时 修正 ， 

会 不 会 对 他 的 个 人 绩效 产生 负面 影响 ? 他 会 不 会 受到 管理 层 的 质疑 ? 


当时 ， 我 以 为 程序 员 在 得 到 修复 有 效 的 测试 结果 后 ， 会 在 某 次 签 入 
中 “顺便 ”包含 该 代码 变更 。 但 是 ， 在 发 布 的 最 后 阶段 ， 只 有 修正 缺陷 
的 代码 变更 才能 签 入 。 那 位 程序 员 手 上 恰恰 没有 缺陷 (这 是 我 始 料 未 
及 的 ) ， 他 也 觉得 CLR 的 缺陷 在 产品 环境 中 伙 怕 不 会 复 现 ， 于 是 没有 
签 入 修正 。 

大 约 一 个 月 以 后 ， 该 服务 在 产品 环境 中 月 并。 从 症状 上 看 ,就 是 我 所 
发 现 的 缺陷 。 我 到 那 时 才 知 道 ， 产 品 代码 中 不 包含 程 序 员 的 修正 。 现 
在 看 来 ， 不 正式 记录 该 缺陷 有 以 下 问题 。 

第 一 ， 管 理 层 不 知道 该 缺陷 的 情况 。 他 们 将 根据 不 准确 的 信息 作出 发 
布 决策 。 

第 二 ， 在 发 布 前 ， 所 有 的 流程 都 围绕 缺陷 展开 。 不 记 杂 缺陷 ， 束 不 
能 “合法 ”地 签 入 代码 ， 束 不 能 修复 衣 浇 。 

第 三 ， 不 记 杂 缺陷 ， 束 没有 一 个 文档 正式 记录 问题 症状 、 调 试 结 采 、 
修复 进度 、 测 斌 进度。 缺陷 记录 可 以 协调 程序 员 、 测 斌 人员、 项 目 管 
理 者 来 共同 解决 户 重 的 问题 。 


第 四 ,缺陷 十 团队 学 习 的 最 佳 素材 之 一 。 不 把 如 此 有 教 益 的 缺陷 记 录 
下 来 ， 是 团队 积累 的 一 个 损失 。 


幸运 的 是 ， 服 务 重 局 后 能 够 继续 工作 ， 对 业务 影响 不 大 。 经 过 讨论 ， 
我 们 决定 在 两 周 后 发 布 补丁 ， 以 修正 该 朋 吝 和 其 他 一 些 问 题 。 


再 次 反思 该 缺陷 处 理 过 程 ， 不 难 获得 如 下 结论 。 


第 一 ， 流 程 的 出 发 点 可 能 和 结 末 育 道 而 弛 。 要 求 在 24 小 时 内 修复 新 问 
题 ， 是 为 了 让 代码 中 的 缺陷 持续 减少 。 但 是 ， 许 多 缺陷 难以 在 24 小 时 


内 被 修复 。 在 压力 下 ， 项 目 团队 可 能 选择 不 在 当前 发 布 修复 该 缺陷 。 
这 使 得 代码 中 的 缺陷 被 “隐藏 ”> 了 了， 而 不 是 被 修复 了 。 


第 二 ， 管 理 层 应 该 芝 造 一 种 残 励 报告 缺陷 的 氛围 ， 这 使 得 发 布 决策 能 
够 基于 真实 的 情况 。 


第 三 ， 当 缺陷 处 理 (报告 、 修 复 、 检 验 ) 与 个 人 绩效 联系 在 一 起 时 ， 
缺陷 报告 与 缺陷 修复 的 积极 性 可 能 会 被 压抑 。 


第 四 ， 即 便 流程 不 会 评估 个 人 绩效 ， 只 要 开发 者 心理 上 感觉 它们 之 间 
有 联系 ， 他 们 的 行为 也 会 受到 影响 。 


第 五 ， 作 为 专业 的 测试 人 员 ， 发 现 问 题 一 定 要 报告 。 报 告 可 以 讲 策略 
和 时 机 ， 但 是 不 能 将 问题 “吞没 *。 对 于 这 次 的 有 崩溃 问题， 我 应 该 第 一 
天 殊 提 交 到 缺陷 管理 系统 。 由 于 它 复 现 的 概率 不 高 ， 我 们 可 以 将 它 推 
迟到 下 一 个 发 布 周期 。 与 此 同时 ， 我 们 可 以 尽 可 能 寻找 解决 方案 。 一 
a aa 
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Tom DeMarco 和 Tim Lister 在 经 典 著 作 《 人 件 》 中 指出 软件 项 目的 主要 问题 
是 社会 学 问题 [DeMarco99]。 因 为 测试 人 员 的 主要 工作 是 传递 对 项 目 和 团队 
影响 的 信息 ， 他 会 面临 更 多 的 人 际 关 系 方面 的 挑战 。 对 此 ， 他 应 该 秉持 
正直 的 价值 观 ， 以 诚实 的 态度 提供 信息 服务 。 这 比 随波逐流 、 人 云 亦 云 要 

困难 许多 ， 但 却 是 发 展 职业 生涯 的 正路 。 


9.1.3 ”测试 人 员 的 影响 力 来 自 于 出 色 的 工作 


如 2.1 节 所 论述 ， 测 试 人 员 报 告 缺陷 是 为 了 让 缺陷 得 到 修复 ， 这 往往 有 要求 他 
说 服 程序 员 和 人 缺陷 评审 小 组 去 采取 修复 行动 。 一 个 总 是 让 缺陷 得 到 修复 的 
测试 人 员 ， 无 论 他 的 头衔 是 什么 ， 总 征 拥 有 实质 性 的 影响 力 。 这 种 影响 力 
的 根源 来 目 于 测试 人 员 的 优秀 工作 ， 以 及 在 工作 中 表现 出 的 技术 能 力 。 


对 于 测试 人 员 而 言 ， 出 色 的 工作 通 种 体现 为 : 他 的 测试 策略 是 产品 相关 、 
聚焦 风险 、 多 种 多 样 、 注 重 实效 的 (05.770) ; 他 让 测试 学 习 、 测 试 设 
计 、 测 试 执行 和 测试 评 信 成 为 相互 支持 的 活动 ， 通 过 快速 地 测试 迭代 ， 持 
续 发 现 产 品 缺 陷 ， 他 对 于 发 现 的 缺陷 进行 必要 的 技术 调查 ， 为 缺陷 的 评 

信 、 复 现 、 修 复 等 活动 提供 高 质量 的 信息 ; Bea T AM + Ph BATRA TK 
告 ， 让 程序 员 和 缺陷 评审 小 组 能 够 快速 地 理解 缺陷 的 来 龙 去 脉 ， 他 积极 主 
动 ， 乐 于 助人 ， 用 高 效 的 技术 调查 来 回答 团队 成 员 的 疑问 。 一 个 工作 出 色 
的 测试 人 员 会 逐 潮 在 团队 中 建立 目 己 的 信誉 ， 那 些 见证 其 工作 、 接 受 其 服 
务 的 团队 成 员 目 然 会 认可 他 的 表现 ， 并 相信 他 可 以 提出 有 价值 的 观点 。 
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除了 测试 技术 ， 测 试 人 员 还 需要 扩展 自己 的 知识 面 。 在 与 产品 经 理 讨论 产 
品 时 ， 他 需要 掌握 足够 的 领域 知识 和 产品 知识 。 在 与 程序 员 讨论 设计 时 ， 
他 需要 掌握 足够 的 开发 知识 。 一 个 测试 人 员 常 面临 的 困 a 当 他 提出 一 
些 技术 建议 ， 程 序 员 可 能 流露 出 不 悄 的 态度 : “你 作为 一 个 (不 了 解 软 件 设 
计 的 ) 测试 人 员 ， 有 什么 资 格 要 求 程序 员 采 摧 你 的 着 所? “从 长 过 四 克服 
该 困境 的 唯一 途径 是 测试 人 员 具 备 接近 程序 员 的 软件 开发 能 力 。 这 要 求 测 
试 人 员 学 习 产 品 平台 、 程序 语言 、 设 计 模 式 和 调试 技术 ， 并 通过 测试 实践 
逐步 理解 产品 典 构 和 代码 。 有 具备 产品 知识 和 开发 技术 的 测试 人 员 能 够 提出 
有 洞察 力 的 意见 ， 虽 然 并 不 是 所 有 的 意见 都 会 被 接纳 ， 但 是 好 的 意见 可 以 
为 他 赢得 项 目 团队 的 认可 ， 并 逐渐 增强 他 的 影响 力 。 


9.1.4 信任 程序 员 的 努力 ， 并 用 技术 调查 检验 其 工作 


如 果 测 试 人 员 和 希望 团队 成 员 可 以 信任 上 自己， 他 惑 需要 移 信任 别人 。 一 个 内 
心 “ 疑 邻 盗 算 ” 的 人 会 流露 出 对 他 人 的 不 信任 ， 这 反 过 来 也 会 导致 他 不 被 信 
任 ， 因 为 团队 成 员 不 认为 他 是 客观 公正 的 。 在 绝 大 多 数 团 队 中 ， 测 试 人 员 
应 该 秉持 的 基本 理念 是 :， 所 有 团队 成 员 都 硕 望 项 目 获得 成 功 ， 都 在 尽 目 己 
的 努力 来 提高 产品 的 质量 。 那 么 ， 测 试 人 员 应 该 无 条 件 地 相信 程序 员 对 代 
人 测试 人 员 需 要 用 技术 调查 来 检验 其 描述 的 正确 


本 书 开篇 就 指出 软件 的 复杂 度 已 经 超越 人 的 理解 能 力 。 面 对 复杂 且 变 化 的 
代码 ， 任 何人 都 不 能 保证 他 的 代码 变更 总 是 正确 无 误 。 信 任 一 个 人 ， 并 不 
意味 着 相信 他 不 会 犯错 。 任 何人 都 有 言 点 ， 都 有 思考 不 周 的 情况 ， 即 便 努 
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发 现 其 中 的 问题 。 当 程 序 员 说 这 段 代码 改动 影响 很 小 ， 没 有 问 
ny 他 的 言 下 之 意 其 实 是 “在 我 所 知道 的 情景 中 ， 这 段 代码 改动 没有 问 

o 在 测试 时 ， 测试 人 员 应 该 参考 程序 员 的 见解 安排 一 ogee 
AL AMOR. 更 要 通过 各 种 途径 去 挖掘 程序 员 遗 漏 的 情景 。 那 些 “ 意 料 
之 外 ”的 情景 很 可 能 会 暴露 软件 缺陷。 


9.2 ”测试 管理 
在 测试 管理 上 ， 测 试 经 理 从 项 目 整体 出 发 ， 会 组 织 与 安排 各 种 测试 活动 。 
作为 执行 经 理 ， 测 试 人 员 负 责 有 具体 的 测试 任务 ， 也 应 该 积极 计划 并 管理 自 
己 的 工作 。 本 节 讨论 一 些 测试 管理 的 基本 关注 点 


9.2.1 个 人 测试 计划 应 该 是 项 目测 试 计划 的 延伸 


通常 ， 测 试 经 理 或 资深 测试 人 员 会 编写 项 目的 测试 计划 ， 将 整个 项 目 过 程 
划分 为 几 个 里 程 碑 ， 并 定义 每 个 阶段 的 起 止 时 间 、 预定 目标 、 测 试 任务 和 
测试 执行 者 (参见 2.1 节 ) 。 作 为 具体 任务 的 负责 人 ， 测试 人 员 需 要 在 总 体 
测试 计划 的 基础 上 ， 将 测试 任务 转化 为 一 系列 小 的 测试 目标 ， 并 拟定 相应 
的 测试 党 略 。 这 和 是 一 个 具体 化 的 过 程 ， 将 一 个 概括 描述 的 任务 转化 为 一 组 
明确 的 工作 项 。 对 于 每 个 工作 项 ， 测 试 人 员 都 可 以 思考 以 下 几 点 。 


测试 对 象 ; 该 工作 项 测试 哪些 模块 、 功 能 、 质 量 特性 和 用 户 情景 ?“ 测 
试 完成 ”的 定义 是 什么 ? 


d 使 用 哪些 方法 来 测试 ? 有 哪些 测试 想法 ? 需要 针对 哪些 项 
分 ? 


测试 资源 ， 完 成 任务 需要 哪些 软件 和 硬件 资源 ? 是 否 需 要 编写 测试 工 
具 ? 是 否 需要 其 他 测试 人 员 的 协助 ? 


测试 时 限 ， 测 斌 活动 何 时 开始 和 结束 ? 在 这 期 间 ， 投 入 多 少 精力 在 该 
测试 任务 中 ? 如 果 测 试 活动 不 能 按时 完成 (可 能 原因 包括 测试 质 源 个 
EIEN ERII AGN PRBS CIE =) ， 应 该 
0 何 处 理 ? 


测试 成 果 : 测试 活动 的 成 果 是 什么 ? 需要 提交 哪些 测试 报告 ? 需要 将 
哪些 自动 化 测试 交付 使 用 ? 需要 交付 哪些 测试 工具 ? 


经 过 细 化 ， 测 斌 人员 可 以 将 一 个 里 程 碑 级 别 的 任务 分 解 为 一 组 工作 项 。 在 
安排 工作 项 的 进度 时 ， 他 应 该 形成 稳定 的 测试 节奏 ， 即 利用 测试 的 迭代 过 
程 ， 以 固定 的 周期 来 执行 和 报告 工作 项 。 以 下 是 几 种 常见 的 测试 周期 方 

案 ， 表 9-1 古 它们 的 示例 。 


以 里 程 碑 为 测试 欠 代 周期 。 许 多 人 研发 团队 采用 迭代 开发 的 流程 ， 迭 代 
周期 通常 为 2~4 周 。 测 试 人 员 可 以 沿用 此 开发 周期 来 安排 测试 工作 的 迭 
代 。 因 为 测试 人 员 需 要 快速 、 持 续 地 反馈 产品 质量 ， 所 以 测试 送 代 周 
期 在 实践 上 应 该 小 于 里 程 碑 。 如 有 果 里 程 碑 的 持续 时 间 为 2~3 个 月 ， 那 么 
测试 适 代 周 期 不 宜 超 过 4 周 。 


以 周 为 测试 适 代 周期 。 测试 人 员 以 周 为 时 间 单 位 规划 目 己 的 工作 ， 以 
执行 工作 项 和 发 送 测 斌 报告。 该 方法 利用 目 然 周 这 个 天 然 的 工作 单 
元 ， 能 够 方便 地 规划 工作 ， 并 持续 地 报告 产品 的 质量 信息 。 


以 构建 为 测试 迭代 周期 。 对 于 一 些 需要 在 短 时 间 内 完成 的 测试 任务 
(如 测试 需要 快速 发 布 的 产品 补丁 ) ， 测 试 人 员 可 以 用 构建 来 安排 测 


试 工作 。 通 常 的 策略 是 ， 第 一 轮 测试 全 面 履 盖 代 码 变 更 ， 第 二 轮 测试 
针对 第 一 轮 测试 发 现 的 缺陷 ， 且 检查 缺陷 修复 是 否 引 入 新 的 缺陷 ， 第 
三 轮 测 试 针对 第 一 、 二 轮 发 现 的 缺陷 ， 并 执行 回归 测试 。 


表 9-1 以 测试 周期 安排 工作 项 


p| EER (项 目 计 
划 ) 


以 里 程 碑 为 测试 迭代 | 以 周 为 测试 迭代 周 | 以 构建 为 测试 迭代 周 
周期 期 期 


工作 项 A: 构建 1 
工作 项 A 工作 项 A: 构建 2 
工作 项 B 工作 项 A: 构建 3 
工作 项 C 


对 于 不 同 的 工作 项 ， 测 试 人 员 可 以 采用 不 同 的 工作 周期 。 对 于 紧急 的 工 

作 ， 他 需要 以 构建 为 周期 。 对 于 不 紧急 且 低 优 移 级 的 工作 ， 他 可 以 采用 里 
程 碑 为 周期 。 对 于 大 多 数 工作 ， 以 周 为 大 代 周 期 是 较 好 的 选择。 如 果 一 个 
工作 项 较 大 ， 不 能 在 一 周 的 时 间 内 完成 ， 测 试 人 员 可 以 将 其 拆 分 成 春 干 小 
工作 项 ， 以 放 入 周 和 迭代 中 。 


9.2.2 ”制订 个 人 测试 计划 时 应 该 综合 考虑 各 种 项 目 元 素 


3.2.1 世 介绍 了 启发 式 测 试 计划 的 语 境 模型 HTPCM， 它 根据 项 目 语 境 (软件 
开发 、 测 斌 团队、 测试 实验 室 、 项 目 需 求 ) ， 来 决定 测试 任务 和 测试 过 
程 。 这 是 一 个 有 价值 的 参考 模型 ， 提 出 了 一 组 影响 测试 任务 和 过 程 的 项 目 
元 素 。 测 试 人 员 可 以 用 它 评估 当前 状态 ， 从 而 制定 具体 的 测试 工作 项 。 此 
外 ， 他 还 可 以 利用 启发 式 测试 策略 模型 (参见 4.2.1 节 ) 和 项 目 风 险 列 表 
(参见 8.3.1 节 ) 来 多 角度 地 思考 项 目 风 险 ， 并 安排 相应 的 测试 活动 。 在 此 
基础 上 ， 本 节 将 从 测试 协作 的 角度 来 讨论 个 人 测试 计划 。 

许多 时 候 ， 测 试 人 员 直 接 与 程序 员 协 作 。 程 序 员 发 布 构建 给 测试 人 员 ， 测 
试 人 员 测 试 构 建 并 报告 缺陷 。 随 后 ， 程 序 员 修 复 缺 陷 ， 发 布 新 构建 ， 测 试 
人 员 开 始 新 一 轮 的 测试 。 在 此 过 程 中 ， 测 试 人 员 需 要 考虑 如 下 问题 。 


”至 个 代 反 编写 与 测试 的 循环 需要 在 何 时 结束 ”最 终 的 代码 需要 在 何 时 
EAP 


。 为 了 确保 代码 达到 预期 的 质量 标准 ， 应 该 做 哪些 测试 ? 完成 这 些 测试 
需要 多 长 时 间 ? 


如 果 程 序 员 迟 迟 不 能 发 布 构建 ， 使 得 可 用 的 测试 时 间 少 于 必须 的 测试 
时 间 ， 应 该 如 何 处 理 ? 


如 采 代 码 存在 许多 产 重 缺陷 ， 使 得 测试 工作 被 阻 蹇 ， 以 致 于 难以 按时 
完成 ， 应 该 如 何 处 理 ? 


能 否 与 程序 员 沟 通 ， 请 他 提前 发 布 《私有 ) 构建， 使 得 一 些 测试 工作 
可 以 提前 开始 ? 


如 果 测 试 构建 需要 大 量 的 时 间 ， 能 不 能 向 测试 经 理 申 请 更 多 的 资源 ? 
a n a a 
速 测 试 。 


为 了 缓解 代码 不 能 按时 完成 的 风险 ， 测 试 人 员 需 要 加 强 与 同事 的 合作 。 一 
方面 ， 他 要 与 程序 员 密切 交流 ， 了 解 他 的 工作 进度 ， 并 尽 可 能 提供 快速 的 
测试 服务 。 许 多 程序 员 愿 意 提前 发 布 私 有 构建 ， 让 测试 人 员 了 解 新 设计 。 
虽然 这 些 构建 可 能 不 提供 完整 的 功能 ， 但 是 提供 了 设计 和 实现 的 详细 信 

轧 ， 征 很 有 帮助 的 测试 参考 。 作 为 回报 ， 测 试 人 员 回 程序 员 报 告 私有 构建 
中 的 问题 ， 让 他 可 以 快速 地 修复 缺陷 。 对 于 私有 构建 ， 测 试 人 员 和 程序 员 
可 以 约定 最 方便 的 缺陷 报告 方法 ， 例 如 口头 报告 、 邮 件 报 告 、 正 式 报告 

等 。 民 好 的 互动 可 以 让 代码 更 快 地 稳定 下 来 ， 从 而 按时 答 入 。 在 代码 签 入 
后 ， 测 试 人 员 需 要 遵循 日 常 流程 ， 用 正式 的 缺陷 报告 记录 构建 中 的 问题 。 


另 一 方面 ， 测 试 人 员 需 要 及 时 向 测试 经 理 报 告 测 试 进度 。 如 果 测 试 存在 延 
后 的 风险 ， 或 已 经 延 后 ， 测 试 人 员 应 该 立即 向 测试 经 理 报告 。 不 要 隐藏 此 
类 * 坏 消息 ”"， 这 会 让 测试 人 员 处 于 不 利 的 局 面 。 测 试 人 员 的 工作 是 提供 产 
品 的 质量 信息 ， 而 产品 不 能 按时 完成 就 是 很 重要 的 质量 信息 ， 需 要 让 项 目 
关系 人 知晓 。 隐 藏 不 报 是 一 种 失职 行为 ， 会 让 测试 人 员 的 信誉 受 损 。 在 报 
告 之 后 ， 测 试 经 理 可 以 与 其 他 项 目 管理 者 协作 ， 运 用 更 多 的 资源 ， 以 帮助 
测试 人 员 和 程序 员 来 解决 问题 。 例 如 ， 他 们 会 指派 资深 程序 员 来 解决 复 洒 
ee ee rene 
9 解决 。 


除了 与 程序 员 协 作 ， 测 试 人 员 之 间 也 有 许多 合作 机 会 。 例 如 ， 在 大 型 项 目 
的 集成 测试 中 ， 测 试 小 组 的 所 有 成 员 都 会 去 测 弃 同一 个 系统 ， 甚 至 多 个 测 
试 小 组 需要 相互 配合 来 完成 整个 系统 的 测试 。 在 此 过 程 中 ， 测 试 人 员 需 要 
考虑 如 何 进行 测试 协作 。 以 下 是 一 些 局 发 式 问题 。 


。 掌握 集成 测试 的 时 限 和 目标 。 
集成 测试 预期 在 何 时 完成 ? 总 体 目标 是 什么 ? 


o 一 共有 几 轮 测试 ? 每 一 轮 测 试 预期 何 时 完成 ? 每 一 轮 测试 的 目标 
征 什么 ? 


。 了 解 测试 合作 者 和 他 们 的 职责 。 
o 有 哪些 测试 小 组 参与 集成 测试 ? 各 个 小 组 负责 完成 什么 任务 ? 
o 有 哪些 测试 人 员 参 与 集成 测试 ? 每 个 人 负责 完成 什么 任务 ? 
o 我 的 测试 小 组 负责 什么 任务 ? 
o T 哪些 人 参与 集成 测试 ? 每 个 人 负责 完成 什么 任 


。 理 清 测试 依赖 ， 并 为 可 能 出 现 的 问题 制定 应 对 方案 。 


o 还 有 哪些 组 件 会 影响 我 所 测试 的 组 件 ? 这 些 组 件 的 测试 负责 人 是 
HE? 我 们 如 何 协作 ? 


”我 所 测试 的 组 件 会 影响 哪些 组 件 ? 这 些 组 件 的 测试 负责 人 是 谁 ? 


我 们 如 何 协作 ? 
o 如 采 某 个 组 件 存 在 严重 缺陷 ， 使 得 我 无 法 测试 我 的 组 件 ， 我 应 该 
如 何 处 理 ? 


o 如 果 我 的 组 件 存在 闫 重 缺 陷 ， 使 得 其 他 测试 人 员 无 法 测试 其 组 
件 ， 我 应 该 如 何 处 理 ? 


。 考虑 测试 人 员 之 间 的 协作 方式 。 


。 通 利 ， 集 成 测试 总 负责 人 会 至 开 例会 ， 邀 请 所 有 参与 集成 测试 的 
测试 人 员 (或 测试 小 组 的 代表 ) 参与 。 例 会 将 通报 每 个 组 件 的 测 
试 进度 ， 并 协调 测试 工作 。 如 果 没 有 这 样 的 例会 ， 谁 可 以 召集 测 
试 人 员 来 协调 工作 ? 我 可 以 召集 吗 ? 


o 例会 有 哪些 固定 的 议题 ? 我 所 关心 的 议题 会 被 讨论 吗 ? 我 可 以 提 
出 新 的 议题 吗 ? 


o 例会 如 何 处 理 集成 测试 中 的 协作 问题 ? 如 何 形 成 决议 ? 
o 除了 例会 ， 还 有 哪些 正式 或 非 正 式 的 测试 协作 方式 ? 
。 定期 报告 测试 进度 。 


o 谁 会 发 送 测 试 报告 给 所 有 关系 人 ， 以 报告 整体 的 测试 进展 ? 我 如 
何 癌 他 提供 信息 ? 


”我 如 何 发 送 测 斌 报告 给 我 的 项 目 团 队 ， 以 便 从 我 们 的 视角 来 检视 
测试 进展 ? 


o 我 的 测试 经 理 期 望 我 如 何 报 告 测 试 进展 和 测试 结 采 ? 


集成 测试 是 一 项 风险 性 比较 高 的 测试 活动 ， 在 测试 环境 、 测 试 情 景 、 上 下 
游 依 赖 、 缺 陷 侦 测 、 故 障 诊断 、 缺 陷 修 复 、 进 度 同 步 等 方面 较 组 件 级 测试 
复杂 得 多 。 为 了 及 时 处 理 测试 过 程 中 浮现 的 问题 ， 测 试 人 员 需 要 与 测试 同 
事 紧 密 协 作 。 定 期 召开 的 例会 是 常见 的 协作 活动 ， 能 够 协调 不 同 部 门 的 测 
斌 人员， 以 共同 解决 一 个 部 门 不 能 处 理 的 问题 。 如 果 当 前 的 集成 测试 没有 
例会 ， 测试 人 员 应 该 在 测试 经 理 许可 的 情况 下 ， 主 动 组 织 测 试 协调 会 议 ， 
并 邀请 相关 测试 负责 人 参与 。 一 般 而 言 ， 例 会 应 该 聚焦 大 部 分 测试 人 员 关 
注 的 议题 ， 介 绍 当 前 集成 测试 的 进度 、 公 布 那 些 影 响 或 阻碍 集成 测试 的 问 
题 、 讨 论 多 部 门 协作 才能 解决 的 问题 、 安 排 下 一 轮 测试 的 工作 等 。 在 会 议 
上 ， 测 试 人 员 应 该 积极 发 言 ， 提 出 急需 解决 的 缺陷 和 重大 项 目 风 险 ， 争 取 
其 他 部 门 测试 人 员 的 支持 ， 也 疝 他 们 提供 帮助 。 除 了 例会 ， 测试 人 员 之 间 
还 可 以 通过 面谈 、 电 话 、 邮 件 、 即 时 通信 等 多 种 方式 快速 地 交换 信息 ， 以 
提高 测试 协作 的 效率 。 


在 集成 测试 过 程 中 ， 测 试 人 员 应 该 频 过 地 同 测 试 经 理 报告 测试 进展 。 因 为 
集成 测试 可 能 涉及 多 个 部 门 ， 测 试 人 员 未 必 了 解 其 他 部 门 的 情况 。 拥 有 更 
多 信息 的 测试 经 理 能 够 帮助 他 更 好 地 理解 测试 伙伴 和 系统 全 貌 。 此 外 ， 测 
试 经 理 拥 有 更 多 的 测试 资源 和 交流 渠道 。 一 些 重大 问题 需要 他 和 其 他 测试 
经 理 一 起 协作 解决 。 及 时 地 报告 问题 将 帮助 测试 管理 者 了 解 产 品 风险 ， 并 
采取 必要 的 行动 ， 以 扭转 危局 。 


从 测试 管理 的 角度 ， 测 试 人 员 需 要 与 工作 伙伴 通力 协作 ， 并 密切 追踪 工作 
项 的 实际 进展 。 测 试 工作 位 于 整个 研发 流程 的 下 游 ， 且 紧密 依赖 于 上 游 活 
动 的 产 出 。 在 许多 项 目 中 ， 测 试 进度 延 后 是 测试 人 员 和 常常 遇 到 的 情况 ， 是 
测试 管理 必须 考虑 的 风险 。 在 制订 个 人 测试 计划 时 ， 测 试 人 员 需 要 考虑 这 
些 风险 ， 并 安排 相应 的 任务 去 监控 风险 和 化 解 问题 。 


9.2.3 ”测试 需要 动态 管理 
在 许多 软件 项 目 中 ， 测 试 活动 具有 高 变动 性 ， 往 往 以 预料 之 外 的 方式 展 


Q 
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在 测试 之 初 ， 测 试 人 员 很 难 预测 产品 会 具有 哪 类 缺陷 ， 他 所 拟定 的 测 
试 策略 可 能 大 获 成 功 ， 也 可 能 无 法 奏效 。 随 着 测试 的 进展 ， 他 会 持续 
发 现 新 信息 ， 并 学 到 许多 产品 和 业务 知识 。 基 于 新 情况 和 新 知识 ， 他 
应 该 调整 原 有 的 测试 计划 ， 放 弃 无 效 的 测 斌 想法， 补充 新 的 测试 想法 
去 针对 真正 的 风险 。 这 古 探 索 的 过 程 ， 作 为 探险 者 的 测试 人 员 掌 握 一 
份 地 图 ( 原 有 的 测试 计划 ) ,但 需要 根据 地 形 随时 修正 前 进 路 线 。 


测试 工作 处 于 整个 研发 流程 的 下 游 ， 会 依赖 一 些 测 试 人 员 不 可 控制 的 
上 游 因素 。 例 如 ， 测 试 人 员 为 测试 某 个 功能 安排 了 一 周 的 时 间 ， 然 而 
该 功能 的 交付 延迟 了 一 周 ， 但 是 产品 发 布 日 期 没有 变动 。 这 意味 着 测 
试 人 员 损 失 了 一 周 的 时 间 ， 面 临 更 紧张 的 进度 压力 。 又 例如 ， 产 品 暴 
和 露出 一 个 疗 重 的 缺陷 ， 使 得 某 些 用 户 情景 无 法 测试 。 程 序 员 述 迟 不 能 
修复 该 缺陷 ， 这 导致 测试 无 法 推进 ， 测 试 时 间 被 无 形 地 压缩 。 面 对 这 
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一 些 测试 工作 对 测试 环境 和 资源 有 较 高 的 要 求 ， 会 依赖 一 些 项 目 团队 
不 可 控制 的 因素 。 例如， 项 目 团队 与 伙伴 团队 做 系统 集成 ， 程 序 员 可 
以 根据 约定 好 的 接口 编写 代码 ， 而 无 需 考 虑 伙伴 团队 的 具体 实现 ， 但 
征 测 试 人 员 必 须 在 集成 测试 中 履 届 两 个 系统 的 协作 情景 。 如 条 伙伴 团 
队 不 能 及 时 地 提供 可 测试 的 系统 ， 集 成 测试 计划 束 被 打 乱 。 又 例如 ， 
程序 员 在 单元 测试 中 只 需要 使 用 少量 的 业务 数据 ， 但 是 测试 人 员 在 系 
统 测 斌 中 必须 使 用 真实 的 (或 仿真 的 ， 大 批 业务 数据 。 这 些 测试 数据 
很 可 能 需要 其 他 团队 提供 。 如 果 数 据 不 能 及 时 a 到位， 那么 系统 测试 计 
划 就 需要 调整 。 


开发 过 程 中 会 有 一 些 突 发 事件 ， 使 得 测试 人 员 不 得 不 中 断 当前 工作 去 
紧急 处 理 。 例 如 ， 测 试 实验 室 遭 遇 停 电 事 故 ， 有 一 些 计算 机 在 恢复 供 
电 之 后 不 能 启动 。 兼 任 实验 室 管理 员 的 测试 人 员 不 得 不 调查 计算 机 故 
隐 ， 尽 力 修复 问题 ， 使 得 其 他 测试 人 员 可 以 使 用 计算 机 。 又 例如 ， 在 
线 系统 发 现 了 一 个 安全 漏洞 ， 需 要 紧急 修复 。 程 序 员 加 班 加 点 ， 发 布 
了 一 个 补丁 ， 接 下 来 测试 人 员 实 施 高 强度 的 补丁 测试 。 这 样 的 修复 与 
测试 过 程 可 能 会 持续 几 天 ， 使 得 原 计 划 的 工作 项 被 延迟 。 


可 见 ， 测 斌 过程 发 生变 动 定 “正常 情况， 是 复杂 的 技术 问题 和 紧迫 的 开发 
过 程 在 测试 领域 的 目 然 结 打 。 测 斌 人员 应 该 主动 地 面 对 变 化 ， 用 动态 管理 


来 积极 调整 测试 计划 。 


第 一 ， 在 考虑 特定 测试 对 象 时 ， 测 试 人 员 应 该 为 研究 与 调查 预 留 足够 的 时 
间 。 在 规划 测试 时 ， 测 试 人 员 可 能 还 没 获得 产品 构建 。 此 时 ， 他 要 尽 可 能 
发 散 性 思考 ， 借助 测试 指 南 、 功 能 列表 、 检查 列表 、 测试 想法 列表 + BRIS 
目录 等 资料 (参见 3.2 节 ) ， 提 出 一 组 差异 化 的 测试 想法 ， 全 面 履 盖 当 时 能 
想到 的 测试 类 型 。 根 据 已 知 的 测试 想法 ， 测 试 人 员 提 出 工作 量 估算 ， 并 附 
加 一 些 缓冲 时 间 。 在 实际 测试 时 ， 测 试 人 员 要 积极 评估 测试 想法 的 有 效 
性 。 一 旦 发 现 某 个 测试 想法 没有 帮助 ， 他 应 该 立即 放弃 。 这样 做 不 是 为 了 
减少 测试 工作 量 ， 而 十 为 有 潜力 的 想法 提供 更 多 的 测试 时 间 。 随 着 测试 的 
深入 ， 测 试 人 员 会 产生 新 的 测试 想法 。 他 需要 通过 测试 来 检查 这 些 想法 的 
有 效 性 ， 并 将 时 间 投 放 在 那些 有 效 的 想法 上 。 


第 二 ,测试 人 员 需 要 动态 地 调整 工作 项 和 测试 想法 的 优先 级 。“ 要 事 第 
”是 软件 项 目 管理 的 基本 原则 。 如 果 项 目 团队 忌 是 先 做 高 价值 的 功能 ， 当 
他 们 必须 低 弃 没有 完成 的 工作 而 立即 发 布 时 ， 被 舍弃 的 是 相对 不 重要 的 功 
能 。 这 便 得 产品 可以 提供 尽 可 能 多 内 价值 。 测试 工作 也 十 如 此 ， 测 斌 人员 
应 该 先 执行 重要 的 任务 ， 使 得 重要 的 缺陷 尽早 被 发 现 。 为 此 ， 他 需要 周期 
性 地 评估 产品 状态 和 项 目 风 险 ， 调 整 测试 工作 项 和 测试 想法 的 优先 级 。 如 
果 他 对 一 些 任 务 的 优先 级 有 疑问 ， 可 以 咨询 测试 经 理 ， 请 他 提供 信息 。 如 
果 他 对 某 个 测试 想法 的 有 效 性 没有 把 握 ， 可 以 安排 一 个 短 的 时 间 盒 ， 用 实 
际 测试 去 检查 想法 。 基 于 优先 级 安排 工作 ， 测 试 人 员 能 够 将 大 部 分 测试 时 
间 投 放 在 重要 的 领域 ， 仅 用 少量 时 间 去 快速 检 难 不 重要 的 领域 。 


第 三 ， 测 试 人 员 可 以 借助 测试 迭代 ， 定 期 评估 项 目 情况 ， 并 调整 测试 工作 
项 。 在 大 多 数 项 目 中 ， 以 周 为 测试 沈 代 周 期 能 够 获得 较 好 的 效果 。 在 里 程 
碑 之 初 ， 测 试 人 员 实施 “里 程 碑 计划 ”， 确 定 里 程 碑 需要 完成 的 任务 ， 制 定 
工作 项 列表 ， 并 把 它们 安排 到 合适 的 星期 中 。 里 程 碑 计划 能 够 揭示 一 些 项 
目 风 险 。 例 如 ， 计 划 结 果 是 每 周 都 有 许多 工作 ， 这 上 暗示 测试 任务 没有 缓冲 
的 余地 ， 一 旦 某 个 任务 超时 ， 很 可 能 没有 时 间 完 成 余下 的 任务 。 男 一 个 典 
型 的 风险 是 ， 一 项 重要 的 测试 工作 被 安排 在 最 后 一 周 。 如 果 程 序 员 不 和 au 
时 交付 构建 ， 测 试 人 员 无 法 在 里 程 碑 结束 前 完成 测试 。 对 于 这 些 风险 ， 测 
试 人 员 需 要 与 测试 经 理 、 程 序 员 和 相关 人 员 协 商 ， 共 同 制 定 缓解 方案 。 


在 获得 里 程 碑 计 划 之 后 ， 测 试 人 员 以 周 为 单位 ， 闪 代 地 实施 测 翅 ， 其 过 程 
如 图 9-1 所 示 。 在 周一 ， 他 评估 当前 的 测试 情况 ， 更 新 本 周 的 工作 项 列表 ， 
加 入 新 出 现 的 任务 ， 删 除 不 再 需要 的 任务 ， 并 为 每 一 项 任务 制定 优先 级 。 
通过 “ 周 计划 ”， ERIT 份 符合 项 目 实情 的 工作 计划 ， 为 实现 “要 事 第 
一 "提供 了 基础 。 经 过 一 周 的 工作 ， 他 在 周 五 发 送 测试 报告 给 测试 经 理 和 项 
eae, SHRM, 并 报告 新 浮现 的 项 目 风险 。 一 方面 ， 测 试 报告 


帮助 经 理 了 解 项 目 进展 ， 为 他 们 的 决策 提供 必要 的 信息 。 男 一 方面 ， 撰 写 
测试 报告 的 过 程 也 是 评估 测试 进度 的 过 程 ， 能 够 帮助 测试 人 员 更 好 地 实施 
下 周 的 计划 。 以 周 为 单元 ， 碗 代 地 执行 “计划 一 实施 - 忌 结 ”能够 帮助 测试 
人 员 动 态 调整 测试 计划 ， 以 应 对 持续 变化 的 软件 项 目 。 


。 计 划 
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图 9-1 以 周 计划 驱动 的 测试 迭代 


第 四 ， 测 试 人 员 应 该 关注 项 目 风 险 ， 并 及 时 向 程序 员 、 产 品 经 理 和 测试 经 
理 报告 。 测 试 专家 Cem Kaner 等 指出 ， 测 试 人 员 是 项 目的 前 灯 (the 
headlights of the project) ， 应 该 为 项 目 决 策 提供 信息 基础 [Kaner01]。 恰 如 本 
章 反复 强调 的 ， 测 试 人 员 很 可 能 没有 足够 资源 去 解决 他 所 面临 的 问题 。 隐 
藏 严重 的 缺陷、 落后 的 进度 很 可 能 导致 项 目 延 期 、 产 品 失败 等 严重 后 果 。 
及 时 地 报告 阻碍 测试 的 问题 、 测 试 进 度 的 延 后 、 产 品 所 又 露 的 缺陷 、 项 目 
所 过 到 的 风险 ， 是 测试 人 员 不 可 推 印 的 职责 。 这 些 信息 将 “ 照 竞 * 项 目前 方 
的 道路 ， 让 项 目 管 理 者 看 清 实际 路 况 。 因 为 他 们 掌握 更 多 的 资源 和 信息 ， 

且 可 以 作出 重大 发 布 决策 (包括 延迟 发 布 、 删 减 功能 集 等 ) ， 所 以 更 可 能 
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退 一 步 说 ， 报 告 测 试 工作 的 困难 或 延迟 是 一 种 “ 目 我 保护 ”的 手段 。 面 对 六 
重 落 后 的 进度 时 ， 有 些 测试 人 员 尝 试 隐瞒 “ 坏 消息 >"， 并 期 望 加 班 工作 可 以 
挽回 进度 。 这 样 的 策略 有 时 可 以 奏效 ， 更 多 的 时 候 只 能 让 坏 消息 在 最 后 一 
刻 歇 露出 来 。 那 时 产品 面临 发 布 或 里 程 碑 结束 ， 项 目 团 队 已 经 没有 时 间 来 
采取 补救 措施 ， 测 试 人 员 将 面 对 他 无 法 承担 的 巨大 责任 。 为 了 避免 这 样 的 
情况 ， 测 试 人 员 应 该 尽早 报告 他 所 遭遇 的 困难 ， 以 获得 测试 经 理 和 团队 成 
员 的 帮助 。 这 保护 了 他 的 职业 发 展 ， 也 帮助 了 项 目 团 队 。 


第 五 ， 测 试 人 员 需 要 经 常 自问 : “我 现在 可 以 测试 什么 ? 能 够 如 何 测 

W? ”[Kaner01] 。 这 是 两 个 看 似 平常 ， 但 是 具有 提示 意义 的 局 发 式 问题 。 
在 忙碌 的 项 目 中 ,测试 人 员 可 能 无 暇 思考 ， 只 是 遵循 已 有 的 测试 计划 。 这 
样 的 忙碌 状态 会 让 他 错过 一 些 有 价值 的 测试 情报 ， 漏 掉 一 些 改进 测试 策略 
的 机 会 。 在 每 个 里 程 碑 和 每 个 迭代 周期 ， 剖 用 两 个 问题 去 检视 软件 项 目 和 
aes 可 以 帮助 测试 人 员 实 施 动态 管理 ， 让 测试 策略 随 着 项 目 一 起 发 


在 某 种 程度 上 ， 本 节 的 内 容 是 用 动态 管理 来 应 对 项 目 级 别 的 风险 (参见 
8.3.37) o 也 就 是 说 ， 测 试 人 员 需 要 将 项 目 风 险 作为 驱动 测试 计划 发 展 的 
重要 因素 ， 持 续 地 监控 风险 ， 并 制定 相应 的 行动 方案 。 毕竟 好 的 测试 策略 
是 产品 相关 、 关 注 风 险 、 多 种 多 样 、 讲 求实 用 的 [Kaner01] 。 


9.3 ”软件 估算 


实施 有 效 计划 的 一 个 重要 前 提 是 准确 地 估算 工作 项 所 需 的 时 间或 成 本 。 程 
序 员 需要 估算 编写 和 单元 测试 一 个 功能 需要 多 长 时 间 ， 测 试 人 员 需 要 估算 
完成 该 功能 的 所 有 测试 需要 多 长 时 间 ， 这 些 估 算 值 构成 了 项 目 整 体 计 划 的 
基础 。 软 件 行业 的 普遍 情况 是 ， 项 目 团队 会 低估 〈 甚 至 故意 低估 ) 完成 工 
作 所 需要 的 时 间 。 在 许多 项 目 中 ， 过 低 的 估算 和 不 良 的 管理 导致 进度 紧 
张 、 发 布 延期 代价 高 昂 。 


软件 开发 专家 Steve McConnell 的 名 车 《软件 估算 一 一“ 黑匣子” 揭秘》 

(Software Estimation: Demystifying the Black Art ) 详细 讨论 了 软件 估算 的 核 
心 概念 和 一 些 估 算 方 法 ， 具 有 很 高 的 参考 价值 [McConnell06]。 本 方 将 介绍 
该 书 的 一 些 关 键 观点 。 


9.3.1 测试 人 员 应 该 估算 自己 的 任务 


在 软件 开发 中 ， 以 下 几 个 拥有 不 同 含义 的 词汇 常常 被 无 意识 地 混用 ， 导 至 
了 误解 和 皮 义 。 因 此 ， 有 效 估算 的 第 一 步 是 正确 理解 基本 概念 。 


。 估算 是 对 任务 所 需 的 时 间或 成 本 的 预测 。 佑 算 应 este 分 析 过 
ey 企 获得 准确 的 预测 值 ， 而 不 考虑 最 终结 有 果 是 否 超出 了 可 用 的 时 
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。 目标 是 期 望 完成 的 任务 在 软件 项 目 中 ， 和 常见 的 目标 包括 编码 完成 、 
测试 完成 、 发 布 等 


。 计划 是 实现 目标 的 方案 。 与 估算 不 同 ， 计 划 是 主观 的 目标 求解 过 程 ， 
旨 在 充分 利用 项 目 时 间 和 资源 ， 以 最 大 的 概率 去 达成 目标 。 


。 承 读 是 许诺 在 特定 日 期 之 前 完成 目标 。 在 软件 项 目 中 ， 承 诺 意 味 着 “使 
命 作 达 ”的 责任 ， 以 及 不 能 抑 现 诺言 的 问 责 。 


在 许多 时 候 ， 项 目 关 系 人 并 不 掌握 以 上 概念 的 老 别 ， 所 以 他 们 第 音 将 估算 
等 同 于 计划 或 承诺 。 例 如 ， 项 目 主 管 问 测试 人 员 : “你 评估 完成 集成 测试 需 
要 多 长 时 间 ? 产品 还 有 一 个 月 束 要 上 线 了 ， 时 间 够 用 吗 ? "在 字面 上 ， 项 目 


主管 在 询问 集成 测试 的 估算 ， 其 实 他 是 在 (用 委婉 的 口气 ) 要 求 测试 人 员 
承诺 在 一 个 月 时 间 内 完成 测试 。 叉 例如 ， 测 斌 经理 问 测试 人 员 : “你 认为 完 
成 集成 测试 需要 多 长 时 间 ? 产品 还 有 一 个 月 就 要 上 线 了 ， 时 间 够 用 吗 ? ”对 
于 大 多 数 技术 领导 而 言 ， 该 问题 是 要 求 测试 人 员 给 出 一 个 切实 可 行 的 计 
划 ， 以 按时 完成 集成 测试 。 如 果 测 试 人 员 随 口 答 道 “一 个 月 时 间 足 够 了 ”， 
那么 测试 经 理会 认为 他 已 经 拥有 了 一 个 很 好 的 计划 ， 并 且 承 诺 在 一 个 月 之 
内 完成 任务 。 


为 了 避免 误解 ， 测 试 人 员 需 要 理解 关系 人 的 真实 意图 ， 并 就 所 讨论 的 内 容 
达成 共识 。 以 下 是 几 个 需要 交流 的 要 点 。 


。 估算 、 计 划 和 承诺 的 核心 是 目标 。 只 有 清楚 地 定义 目标 ， 才 能 进行 有 
意义 的 估算 、 计 划 和 承诺 。 因 此 ， 测 斌 人 员 需 要 向 关系 人 确认 任务 的 
内 容 ， 以 及 关系 人 对 完成 质量 的 期 望 。 如 采 任 务 是 集成 测 翅 ， 那 么 测 
试 人 员 需 要 询问 测试 的 范围 和 测试 完成 的 标准 。 


测试 人 员 需 要 向 关系 人 询问 ， 他 究竟 需要 什么 信息 ， 以 及 为 什么 需要 
这 些 信息 。 如 果 关 系 人 索取 估算 ， 他 有 可 能 在 进行 项 目 级 别 的 估算 ， 
希望 测试 人 员 提 供 局 部 的 详细 信息 。 如 果 关 系 人 需要 计划 ， 他 有 可 能 
期 望 了 解 测试 活动 的 关键 时 间 点 ， 以 协调 多 项 测试 活动 。 如 采 关 系 人 
期 竺 承诺， 他 有 可 能 期 望 测试 人 员 确 认 测试 任务 可 以 按时 完成 。 了 解 
关系 人 的 动机 可 以 帮助 测试 人 员 提 供 正 确 的 答案 。 


测试 人 员 应 该 与 关系 人 协商 ， 确 定 一 个 提交 正式 答案 的 时 间 。 除非 测 
试 人 员 对 目标 进行 过 认真 的 佑 算 和 计划 ， 人 否则 他 不 应 该 当场 给 出 佑 
算 、 计 划 或 承诺 。 在 交谈 的 时 候 ， 测 试 人 员 仅 能 凭借 经 验 进 行 估算 ， 
很 难得 出 准确 的 估算 值 或 稳健 的 方案 ， 而 根据 不 民 售 算 所 做 的 承诺 很 
可 能 无 法 苋 现 。 他 应 该 向 关系 人 说 明 ， 他 需要 认真 分 析 之 后 ， 才 能 给 
ee IRE eee lerdal aan, 


虽然 目标 、 估 算 、 计 划 和 承诺 拥有 不 同 的 语义 ， 但 是 在 个 人 测试 管理 中 ， 
它们 通常 是 紧密 关联 的 。 测 试 人 员 获 得 一 个 测试 任务 之 后 ， 应 该 调查 它 的 
目标 和 完成 标准 。 之 后 ， 将 其 分 解 为 一 组 测试 工作 项 ， 并 估算 每 个 工作 项 
所 需 的 时 间 ， 以 获得 该 任务 的 时 间 佑 算 。 如 果 该 任务 所 需 的 时 间 超 过 预 
算 ， 测 试 人 员 会 调整 工作 项 ， 以 减少 任务 所 需 时 间 。 如 果 测 试 人 员 发 现 满 
足 完成 标准 所 需要 的 最 短 时 间 仍旧 超出 预算 ， 他 需要 向 测试 经 理 说 明 该 任 
务 无 法 在 期 望 时 间 内 完成 可见， 估算 是 测 弃 计 划 的 重要 环节 ， 是 评估 测 
试 计划 是 否 合理 的 重要 指标 ， 也 是 测试 人 员 是 否 做 出 承 诸 的 基础 。 


测试 人 员 应 该 负 贡 目 己 任务 的 估算 ， 而 不 是 无 条 件 地 接受 他 人 的 估算 。 根 
据 别 人 的 估算 做 出 承诺 ， 很 可 能 让 目 己 处 于 不 利 的 情景 。 例 如 ， 测 试 经 理 
让 测试 人 员 在 5 天 内 完成 一 项 测试 任务 。 某 些 测试 人 员 会 不 假 思索 地 答应 下 
来 。 不 过 的 是 ， 在 实际 测试 过 程 中 ， 他 发 现 该 测试 任务 很 复杂 ， 需 要 更 多 
的 时 间 。 为 了 不 违背 目 己 的 承诺 ， 他 便 着 头皮 做 下 去 ， 笑 试 着 用 加 班 来 完 
成 任务 。 然 而 埋头 工作 并 没有 加 快 进度 ， 在 第 5 天 ， 他 不 得 不 面 对 任 务 无 法 
完成 的 局 面 。 这 时 ， 他 有 两 个 选择 : 好 的 选择 是 报告 测 斌 经理， 测试 任务 
没有 完成 ， 他 需要 更 多 的 时 间 ; 差 的 选择 是 隐瞒 测试 任务 的 真实 进度 ， 报 
后 测 试 任务 完成 。 无 论 如 何 ， 他 都 没有 兑现 <5 天 内 按照 标准 完成 任务 ”的 承 
诺 ， 为 项 目 引 入 了 风险 。 倘 大 风险 又 露 为 事故 ， 那 么 他 不 得 不 面 对 问 责 。 


在 上 例 的 情景 中 ， 有 经 验 的 测试 人 员 会 采取 不 同 的 做 法 。 在 接 到 任务 后 ， 

他 会 估算 完成 它 需要 的 时 间 。 如 果 发 现 该 任务 需要 8 天 才能 完成 ， 他 会 立即 
与 测试 经 理 讨 论 该 估算 值 。 讨 论 的 主要 目的 不 是 说 服 测试 经 理 接受 目 己 的 
估算 值 ， 而 征 理解 为 什么 两 个 估算 值 存在 兰 异 。 是 两 人 对 任务 内 容 的 理解 
FEA FS? 是 测 试 经理 拥 有 一 些 高 效 的 测试 方法 吗 ? 是 测试 经 理 知 晓 其 
他 测试 人 员 会 覆盖 部 分 测试 内 容 吗 ? 是 存在 某 些 强制 条 件 ， 使 得 该 任务 必 
须 在 5 天 内 完成 吗 ? 在 理 清 这 些 问题 后 ， 测 试 人 员 和 测试 经 理 通 音 可 以 对 任 
务 的 内 容 和 完成 方式 达成 一 致意 见 ， 并 获得 一 个 双方 都 认可 的 估算 值 。 一 
些 可 能 的 讨论 结果 包括 : 测试 经 理 缩减 了 测试 任务 的 范围 ， 使 得 测试 任务 
可 以 在 5 天 内 完成 ; 测试 经 理 同意 8 天 是 合理 的 估算 值 ， 测 试 经 理 为 该 任务 
投入 更 多 的 人 手 ， 使 得 估算 值 降 到 5 天 。 


总 之 ， 舍 算是 测试 管理 和 项 目 协作 的 重要 活动 ， 征 计划 和 承 庄 的 基础 。 负 
责任 的 测试 人 员 会 前 异地 评 佑 工作 项 的 时 间 ， 并 用 合算 值 来 分 析 工 作 计 划 
的 可 行 性 。 如 果 他 人 对 估算 值 存 在 不 同意 见 ， 他 会 将 分 层 视 为 交流 的 机 
会 ， 通 过 交换 意见 来 达成 共识 。 


9.3.2 ”用 计数 和 计算 作为 估算 手段 


人 
H o 


你 和 几 个 估算 人 员 参 与 一 个 大 型 的 招待 会 ， 大 房间 中 坐 满 了 人 “。 突 
2 3 
oe 


D epee eee erga ee ie sear 


估算 人 员 Karl 说 : “房间 里 的 桌子 排 成 了 和 矩阵， 共有 11 行 7 列 。 会 议 组 织 
a 目测 也 是 如 此 。 所 以 ，11 乘 7 再 乘 5， 一 共 
385 八 。” 


估算 人 员 Lucy 说 :“ 我 注意 到 该 房间 有 容量 标记 ， 它 最 多 可 以 容纳 485 
人 。 有 -上 去。 目前 已 经 坐 满 了 70%~80%， 也 就 是 说 有 340~388 人 。 取 平 
均 数 就 是 365 人 。” 


你 说 :“ 我 去 调查 一 下 ， 厂 刻 束 回 。” 几 分 钟 后 ， 你 公布 了 调查 结 

条 :“ 进 入 房间 之 前 要 扫 摘 门票 。 我 去 问 了 门口 的 验 票 员 ， 她 说 根据 扫 

fae J 一 共 扫 摘 了 407 张 票 ， 而 且 目 前 没有 人 离开 。 所 以 ， 与 会 者 应 该 
407 人 。” 


司仪 公布 的 答案 恰恰 是 407 人 。 
这 个 例子 生动 地 展示 了 几 种 常用 的 估算 方法 ， 并 说 明了 它们 的 优先 顺序 。 


”计数 是 最 优先 的 估算 方法 ”只 要 可 以 肝 清 上 的 方式 区 但 答案 就 
该 采用 这 种 宣 截 了 当 的 方法 。 它 通常 能 给 出 最 准确 的 答案 。 


。 计算 是 次 优 的 估算 方法 。 如 果 无 法 用 计数 获得 答案 ， 束 应 该 先 对 某 些 
对 象 进行 计数 ， 然 后 根据 特定 的 算法 来 计算 估算 值 。Kanl 先 清点 了 桌子 
的 数目 ， 然 后 根据 每 保 5 人 的 信息 演出 了 估算 值 。Lucy 先 了 解 了 房间 的 
容量 ， 然 后 根据 感觉 (房间 坐 满 了 70%~80%) 算出 了 估算 值 。 


。 判断 是 最 后 的 手段 。Bi 刘 纯粹 根据 感觉 提供 了 度量 值 ， 很 大 程度 上 是 在 
储 运 气 。 不 笠 的 是 ， 这 次 他 的 运气 并 不 好 ， 其 度量 值 最 不 准确 。 


测试 人 员 不 应 该 将 估算 、 计 划 和 承 详 建 立 在 运气 之 上 ， 所 以 他 应 该 尽 可 能 
使 用 计数 ， 然 后 才 考 虑 计算 ， 迫 不 得 已 才 选 择 判 断 。 可 惜 ， 在 许多 软件 项 
目 中 ， 大 部 分 估算 都 来 目 “ 招 脑 罕 ”的 判断 。 在 此 环境 中 ， 如 果 测试 人 员 不 
立即 给 出 估算 值 ， 而 是 说 “请 让 我 数 一 数 (或 算 一 算 ) ”， 他 会 被 认为 不 

够 “勇敢 果断 *。 对 此 ， 测 试 人 员 应 该 顶 住 仓促 决定 的 压力 ， 坚 持 用 更 准确 
的 方法 来 提供 佑 算 结 有 末 。 毕 竞 ， 最 后 是 测试 人 员 来 承担 估算 有 误 的 责任 。 


对 于 许多 测试 任务 ， 测 试 人 员 很 难 直 接 使 用 计数 的 方法 。 对 此 ， 他 可 以 将 
测试 任务 分 解 为 多 个 工作 项 ， 然 后 对 每 个 工作 项 进行 计数 。 最 后 ， 他 将 工 
作 项 的 信 算 什 篆 加 起 来 ， 以 获得 测试 任务 的 估算 值 。 这 是 一 种 “分 而 治 

之 ”的 策略 ， 将 一 个 大 型 任务 的 估算 转化 为 对 一 组 小 型 任务 的 估算 ， 通 过 提 
高 局 部 的 准确 性 来 保证 最 终结 果 的 准确 性 。 此 外 ， 素 加 一 组 估算 值 有 助 于 


误 莽 补偿 。 当 菜 些 工作 项 的 估算 值 偏 高 ， 男 一 些 工作 项 的 估算 值 偏 低 ， 其 
累加 值 “ 抵 消 * 了 正 负 误差 ， 可 能 更 加 准确 。 


93.3 ”历史 数据 是 估算 的 重要 参考 


为 了 较 准 确 地 估算 ,测试 人 员 和 需要 寻找 与 任务 工作 量 相关 的 计数 对 象 。 如 
果 存 在 与 计数 对 象 相关 的 历史 数据 ， 测 试 人 员 束 可 以 方便 地 将 计数 值 转化 
为 估算 值 。 表 9-2 记 录 了 一 些 稼 见 的 估算 对 象 和 它们 的 历史 数据 。 


根据 历史 数据 ， 测 试 人 员 可 以 较 方 便 地 估算 出 一 项 任务 所 需 的 时 间 。 以 自 

动 化 测试 结果 调查 为 例 ， 假 设 自动 化 测试 集合 包含 2000 个 用 例 ， 测 试 失败 

率 大 约 是 2%， 调查 一 个 失败 的 测试 用 例 平均 是 154 分 钟 ， 那 么 一 轮 上 自动 化 测 

试 调查 需要 2000x0.02x15 =600 分 钟 (10 小 时 ) 。 如 果 测 试 小 组 安排 4 个 人 
共同 调查 ， 平 均 每 个 人 需要 花费 2.5 小 时 。 


表 9-2 将 计数 值 转化 为 估算 值 的 历史 数据 


估算 对 象 把 计数 值 转化 为 估算 值 的 历史 数据 


e 一 个 功能 或 特性 的 平均 测试 时 间 。 

o 每 千 行 代码 的 平均 缺陷 数 。 

© 缺陷 被 解决 为 修复 的 概率 。 

e 对 一 个 缺陷 修复 进行 测试 的 平均 用 时 。 
缺陷 修复 引入 新 缺陷 的 概率 


Ponape orn aL eat 
TA 平均 用 让 


。 回 放 一 个 情景 
Eo 编 jl ti 


| 试 一 个 存储 过 程 的 平 
测试 一 个 函数 的 平均 用 有 
测试 一 个 视图 的 平均 用 下 
测试 一 个 表 的 平均 用 时 


测试 一 个 报表 页 面 (以 数据 呈现 为 主要 情景 ) 的 平均 用 时 。 
测试 一 个 表单 页 面 (以 数据 提交 为 主要 情景 ) 的 平均 用 时 。 
测试 一 个 只 读 页 面 (只 包含 静态 文字 、 图 片 、 超 链接 ) 的 平均 用 时 


估算 对 象 把 计数 值 转化 为 估算 值 的 历史 数据 


可 归 测 斌 的 平均 用 时 。 

可 归 测 试 所 提交 的 平均 缺陷 
© 缺陷 被 解决 为 修复 的 概率 。 

o 对 一 个 缺陷 修复 进行 测试 的 平均 用 时 。 
e 一 个 缺陷 修复 引入 新 缺陷 的 概率 


2 
-va |e 目 动 化 测试 集 
动 化 测试 | 。 测 试用 例 失败 的 概率 。 

。 调查 一 个 失败 的 测 计 


0 | u r i 4 fil BX ° 
a | 。 编 号 一 个 测试 用 例 的 平均 用 时 。 

动 化 测试 周 试 一 个 测试 J / 平均 时 
j 测 试 代码 进行 代码 审查 的 平均 用 时 


配置 一 全 测试 计算 机 的 平均 用 时 。 
测试 环境 搭建 |。 安装 被 测 产 品 的 平均 用 时 。 
配置 被 测 产 品 的 平均 用 时 


一 般 而 言 ， 测 试 人 员 应 该 尽量 自动 地 获得 历史 数据 。 许 多 团队 用 数据 库存 
储 缺 陷 报 告 、 上 自动 化 测试 的 信息 (包含 用 例 编号 、 用 例 名 、 用 例 所 属 的 测 

试 集合 等 )、 上 自动 化 测试 的 结果 ， 这 为 数据 分 析 提 供 了 便利 。 测 试 人 员 编 
写 简 单 的 SQL 查询 ， 束 可 以 很 方便 地 获得 历史 数据 。2.3.5 和 建议 测试 人 员 

在 编写 缺陷 报告 时 ， 要 文 持 未 来 的 缺陷 查询 。 这 条 建议 在 本 下 体现 为 ， 缺 
陷 报 告 应 该 文 持 未 来 的 数据 分 析 。 以 回归 测试 为 例 ， 测 试 小 组 可 以 约定 回 

归 测 试 的 缺陷 报告 的 标题 应 该 以 “[RF]”(Regression Failure 的 缩写 ) 为 前 

级 。 这 样 ， 代 码 清单 9-1 所 示 的 SQL 查 询 (有 关 数 据 表 dbo.Bug 的 定义 请 参考 
8.2.17) 能 够 返回 一 轮回 归 测 试 所 发 现 的 缺陷 个 数 。 这 上 段 代 码 假 设 一 轮回 

归 测 试 只 针对 一 个 固定 的 构建 号 ， 它 算 选 出 Title (标题 ) 包含 <[RF]” 的 缺 

陷 ， 并 用 0penBuild 《提交 缺陷 的 构建 号 ) 对 它们 分 组 ， 从 而 获得 每 个 构 
建 号 所 拥有 的 回归 缺陷 的 数目 。 利 用 该 信息 ， 测 试 人 员 很 容易 计算 出 一 轮 
回归 测试 所 提交 的 平均 缺陷 个 数 。 


代码 清单 9-1 ”统计 每 一 轮回 归 测 试 发 现 的 缺陷 


SELECT 
OpenBuild, COUNT(*) AS OpenCount 


FROM dbo ,Bug 

WHERE OpenDate > DATEADD(dd, -30, GETDATE()) 
AND CHARINDEX('[RF]', Title) = 1 

GROUP BY OpenBuild 


因为 部 分 项 目 数据 并 没有 被 自动 地 记录 ， 所 以 测试 人 员 有 时 要 做 一 些 数据 
采集 。 他 可 以 参考 3.2.13 节 介绍 的 基于 测 程 的 测试 管理 (SBTM) ， 用 测 程 


来 组 织 具体 的 测试 活动 。 标 准 的 SBTM 建 议 测试 人 员 记录 测试 活动 的 时 间 分 
配 ， 即 在 产品 安装、 测试 设计 与 执行 、 缺 陷 调 查 和 报告 、 非 测试 活动 中 各 
化 费 了 多 长 时 间 。 积 素 这 些 数据 将 为 今后 的 估算 提供 有 力 的 文 持 。 


此 外 ， 好 的 测 程 拥有 明确 的 主题 ， 这 意味 着 它 通常 针对 一 组 具体 的 测试 对 
象 。 在 一 个 测 程 结束 后 ， 测 试 人 员 只 需 进 行 简单 的 回顾 ， 数 一 数 测 试 所 用 
将 的 对 象 ， 束 可 以 获得 有 价值 的 数据 。 例 如 ， 他 分 配 了 一 个 1.5 小 时 的 测 

程 ， 专 门 用 于 目 动 化 测试 的 失败 调查 。 在 测 程 结束 后 ， 他 统计 一 共 调 查 了 
多 少 个 失败 用 例 ， 然 后 计算 出 失败 用 例 调 查 的 平均 用 时 。 又 例如 ， 他 分 配 
了 一 个 2 小 时 的 测 程 来 测试 Web 页 面 。 在 测 程 结束 后 ， 他 统计 一 共 测 试 了 多 
少 个 报表 页 面 、 表 单 页 面 和 只 读 页 面 ， 从 而 计算 出 测试 每 种 页 面 的 平均 时 


y 


间 。 


Steven McConnell 建 议 开发 人 员 从 四 类 数据 开始 收集 ， 规模 (代码 行 或 软件 
中 可 计数 的 对 象 ) 、 工 作 量 (工作 时 间 ) 、 时 间 (日 历时 间 ) > BRM © X 
建议 也 适用 于 测试 人 员 ， 他 可 以 从 很 少 一 组 数据 开始 积累 ， 用 少量 的 时 间 
去 聚焦 基础 性 的 信息 。 在 此 基础 上 ， 他 应 该 利用 测试 迄 代 来 周期 性 地 收集 
最 新 的 数据 。 这 不 但 能 让 他 更 好 地 估算 ， 还 能 让 他 掌握 项 目的 发 展 动向 。 


93.4 同时 估算 最 差 情 况 和 最 好 情况 


在 合算 时 ， 一 个 很 有 帮助 的 技巧 是 同时 分 析 最 老 情 况 和 节 好 情况 的 估算 

值 。 如 果 只 给 出 一 个 估算 值 ( 称 为 “ 单 点 估算 ”) ， 测 试 人 员 和 常常 倾向 于 给 
出 一 个 乐观 值 。 为 了 避免 过 于 乐观 的 估算 ， 测 试 人 员 应 该 强迫 目 己 思考 最 
坏 情况 ， 评 估 出 完成 任务 的 最 长 时 间 。 这 样 做 主要 有 以 下 3 个 好 处 。 


。 当 思 考 最 坏 情况 时 ， 测 试 人 员 会 更 发 散 地 思考 。 他 会 控 握 出 一 些 被 乐 
观 思考 忽略 的 因素 ， 想 出 一 些 不 津 见 、 但 可 能 发 生 的 不 利 情况 。 在 茶 
种 程度 上 ， 悲 观 思 考 帮助 测 试 人 员 更 好 地 理解 任务 和 语 境 ， 甚 至 让 他 
更 准确 地 评估 最 好 情况 。 


。 估算 只 是 一 种 预测 ， 其 结 采 不 可 能 做 到 百 分 百 准 确 。 此 外 ， 工 作 能 否 
按期 完成 ， 不 仅仅 取决 于 恰当 的 估算 ， 还 依赖 于 有 力 的 执行 、 无 干扰 
的 工作 和 关系 人 的 支持 ， 其 中 一 些 因 素 非 测试 人 员 可 以 控制 。 单 点 估 
算 不 能 目 然 地 反映 出 项 目 发 展 的 不 确定 性 ， 给 人 一 种 “到 那 时 一 定 可 以 
完成 ”的 幻觉 。 如 采 佑 算 结 采 是 一 个 时 间 区 间 ， 那 它 能 直观 地 表达 出 软 
件 项 目 无 法 忽视 的 高 度 变动 性 。 


即便 测试 人 员 需 要 提供 单 点 估算 ， 他 也 可 以 先 估算 最 好 情况 和 最 差 情 
况 。 这 让 他 更 全 面 地 分 析 项 目 环境 ， 从 而 在 这 两 点 之 间 选 择 一 个 合理 
的 值 。 在 统计 上 ， 任 务 以 最 好 情况 或 最 差 情况 完成 的 概率 是 很 低 的 ， 
最 终 的 估算 值 应 该 拥有 更 高 的 完成 概率 。 更 详细 的 讨论 请 参考 Steve 
McConnel 和 Tom DeMarco 等 专家 的 著作 [McConnell06][DeMarco03]。 


男 一 个 提高 估算 能 力 的 方法 是 经 常 比较 任务 的 估算 时 间 和 实际 完成 时 间 。 
基本 策略 是 建立 基于 实际 值 的 反馈 机 制 ， 以 逐渐 提高 估算 的 准确 度 。 为 
此 ， 测 试 人 员 可 以 在 每 个 测试 周期 结束 时 ， 研 究 那 些 估算 值 与 实际 值 相 差 
较 大 的 和 案例， 调查 其 中 的 原因 ， 从 而 提出 相应 的 估算 改进 方案 。 利 用 快速 
的 反馈 ， 他 可 以 更 快 地 提高 其 估算 能 力 。 


94 度量 

在 日 常 工作 中 ， 测 试 人 员 会 主动 用 一 些 定量 的 方法 来 分 析 软 件 和 项 目 ( 例 
如 7.1.1 节 、8.2.1 节 、8.2.2 节 、8.2.4 节 讨论 了 一 些 度量 方法 ) 以 获得 测试 想 
法 ， 也 会 被 要 求 提供 一 些 数值 以 反应 项 目 进展 。 为 了 更 好 地 完成 这 些 任 
务 ， 本 讨论 一 些 软 件 度量 的 基本 原则 和 方法 。 

9.4.1 理解 度量 方法 的 基本 元 素 


有 效 运用 一 种 度量 方法 的 前 提 是 透彻 地 理解 它 。Cem Kaner 教 授 提 出 了 一 个 
评估 度量 方法 的 框架 [Kaner00]， 其 核心 元 素 如 下 。 


。 BA: 为 什么 项 目 团队 或 测试 人 员 需 要 使 用 这 种 度量 方法 ? 其 度量 结 
果 有 何 用 途 ? 


。 属性 : 度量 方法 总 是 针对 项 目 元 素 的 茶 个 特性 ， 反 应 被 调查 对 象 在 这 
个 方面 的 表现 。 


。 算法 : 定量 评 佑 属性 的 方法 。 


。 属性 与 算法 的 联系 : 一 组 理论 或 假设 ， 以 说 明 使 用 该 算法 来 评估 属性 
是 合理 的 。 联 系 通 稼 决定 了 算法 的 适用 范围 、 优 点 和 缺点 。 


。 可 能 的 副作用 : 误 用 度量 方法 带 来 的 不 利 影响 。 许 多 时 候 ， 团 队 成 员 
aa 自觉 地 “优化 ?度量 结果 ， 使 其 满足 管理 层 的 要 求 。 这 样 做 可 能 会 
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在 实施 特定 的 度量 方法 时 ， 测 试 人 员 需 要 仔细 考虑 它 的 意图 、 属 性 、 算 

法 、 联 系 和 副作用 。 在 8.2.2， 代 码 清单 8-7 展 示 了 一 种 评 佑 C# 代 码 复杂 性 

的 度量 方法 ， 其 定义 是 : 文件 的 复杂 度 = 文件 中 分 支 与 循环 关键 字 的 个 数 : 
(文件 的 行 数 + 1) 。 表 9-3 总 结 了 该 方法 的 基本 元 素 。 


表 9-3 文件 复杂 度 的 基本 元 素 


et al 批 代码 文件 ， 将 它们 作为 候选 阅读 对 象 。 
5 H 
1 |。 程序 员 在 编写 或 修改 复杂 代码 时 ， 更 容易 出 错 。 因 此 ， 复 杂 代 码 包含 更 多 的 
e 复杂 代码 不 容易 测试 ， 需 要 重点 研究 。 
o 了解 复杂 代码 所 涉及 的 功能 ， 能 够 更 好 地 理解 产品 并 评估 风险 
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i S 质 是 统计 分 文 与 循环 关键 字 在 一 行 代码 中 出 现 的 概率 。 其 背后 的 假设 如 
s o 分 支 和 循环 可 能 带 来 复杂 的 执行 路 径 a 


Ae ed 集 (出 现 概率 越 高 ) aaa 


JTA ARENE ERT Wb, FERRE RAG IS 
员 的 技术 能 力 和 投入 时 间 。 AY Pe Oa ised DEG 
多 个 因素 决定 的 ， 该 人 杂 性 的 一 个 方面 ， 并 不 能 全 


, REREH 了 篇 环 通常 更 加 复杂 。 但 
WER BE 为 深度 欣 套 的 代 
LINQ FE 符 提供 了 类 化 OEE 
> 计 LINQ 操 作 符 ， 不 能 完整 kt 此 类 代码 的 复杂 度 。 

程序 状态 选择 执 了 路 径 的 方法 ， 例 如 虚 函 数 、 反 射 、 

an 由 dynamic 关 键 字 引 入 ) 等 。 但 是 ， 该 算法 没有 考虑 这 些 情况 。 
异常 处 理 代码 比较 复杂 ， 较 容易 错 。 但 是 ， 该 算法 没有 考 虚 异常 处 理 


结合 度量 的 基本 元 素 ， 可 以 获得 运用 度量 方法 的 基本 注意 点 。 以 下 几 个 小 
节 将 逐一 论述 这 些 要 点 。 


9.4.2 ”明确 度量 的 目标 


度量 的 目的 是 为 项 目 决 策 提 供 信息 ， 是 为 了 更 合理 的 行动 。 因 此 ， 测 试 人 
员 需 要 了 解 度量 的 用 途 ， 知 道 它 所 服务 的 目标 。 然 而 ， 在 项 目 压力 下 ， 测 
斌 人 员 有 时 会 态 记 度量 背后 的 目标 ， 只 是 机 械 性 地 提供 度量 值 ， 或 让 自己 
的 工作 符合 预 设 的 度量 值 。 这 样 做 无 助 于 提高 产品 质量 ， 且 背 失 了 一 些 改 
进 开发 过 程 的 机 会 。 下 面 古 一 个 真实 的 案例 。 


在 某 个 项 目 中 ， 代 码 履 盖 率 是 一 条 产品 发 布 标准 ， 它 要 求 测试 的 语句 
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标 ? 而 努力 亩 斗 。 那 是 一 个 比较 大 的 C++ 程序 ， 其 中 有 一 些 代码 ， 利 用 
端 到 端的 系统 测试 很 难 履 兰 。 于 征 ，Kyle 创 造 性 地 使 用 调试 工具 
Windbg 来 提高 覆盖 率 。 他 将 Windbg 附 加 到 被 测 程序 上 ， 然 后 利用 调试 
磺 指 令 ， 手 工 改变 程序 的 执行 路 径 ， 以 快速 覆 兰 任何 他 希望 黎 兰 的 代 
码 。 不 入 的 是 ， 有 一 块 代码 在 入 口 处 束 朋 算 了 。 虽 然 该 异 肖 家 Windbg 
捕获 ， 但 是 程序 无 法 继续 执行 。 在 试 了 几 次 之 后 ， 他 把 程序 员 叫 了 过 
来 ， 问 道 :“ 程 序 在 这 里 朋 浇 了 ， 如 何 绕 过 去 继续 执行 ? ”程序 员 大 
TA: “RMI MAF PE ATT ARIA? ”Kyle 怒 不 之 :“ 别 说 这 些 没 
用 的 ， 干 正事 要 紧 ! ” 


这 个 故事 是 当 事 程 序 员 杀 口 说 给 我 听 的 。 写 在 这 里 不 是 指责 Kyle 对 程 
序 朋 涡 不 同 不同 。 恰 恰 相 反 ， 我 认为 Kyle 的 举措 具有 相当 的 合理 性 。 
第 一 ， 利 用 Windbg 修 改 执行 路 径 ， 已 经 扰乱 了 程序 状态 。 即 便 程 序 裔 
泪 ， 也 很 难 认 定 这 是 一 个 缺陷 。 第 二 ， 般 省 发 生 在 一 段 很 难 被 执行 到 
的 代码 中 。 即 便 征 程序 缺 隐 ， 也 不 会 引入 显著 的 风险 。 第 三 ， 项 目 临 
近 结 束 ， 还 有 许多 高 优先 级 的 测试 工作 。 结 束 手 上 的 工作 ， 将 精力 集 
中 在 那些 暴露 真实 问题 的 “正事 ”上 ， 才 是 注重 实效 的 策略 。 


为 了 正确 地 使 用 代码 履 次 率 度 量 ， 或 者 说 为 了 让 投入 在 代码 履 兽 率 上 的 时 
间 获 得 丰厚 的 回报 ， 测 试 人 员 必 须 理解 评估 代码 窗 孟 率 的 目的 。 正 如 测试 
是 对 代码 的 反馈 ， 代 码 履 盖 率 是 对 测试 的 反馈 。 获 取代 码 窗 盖 率 ， 不 是 要 
证 明 测 试 的 充分 性 ， 而 是 要 发 现 测 试 的 遗漏， 从 而 补充 测试 用 例 ， 以 发 现 
隐藏 的 缺陷 。 所 以 ， 代 码 履 盖 率 是 一 种 寻找 缺陷 的 技术 ， 是 提高 测试 的 手 
段 ， 不 是 测试 的 目的 。 只 收集 代码 履 兰 率 ， 却 不 利用 它 去 发 现 更 多 的 缺 
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然而 ， 在 项 目 结束 前 ， 测 试 人 员 往 往 有 许多 缺陷 要 做 回归 测试 ， 要 分 析 压 
力 和 性 能 测试 的 结 采 ， 要 与 其 他 团队 配合 进行 跨 系 统 的 集成 测试 。 在 这 种 
情况 下 ， 他 们 没有 充足 的 时 间 来 阅读 代码 、 调 碍 代码 履 兰 情况。 此 时 的 代 
码 履 盖 率 统计 只 是 一 项 必须 完成 的 任务 ， 难 以 给 项 目 带 来 明显 的 收益 。 那 
么 何 时 才 是 分 析 代 码 履 盖 率 的 最 佳 时 机 呢 ? 以 下 是 我 听 到 故事 后 的 思考 。 


我 们 应 该 在 项 目 之 初 束 分 析 代 码 履 盖 率 ， 并 一 直 持 续 到 项 目 结束 。 测 
试 人 员 应 该 从 项 目 早期 束 开 始 理 解 代码 ， 并 逐步 增加 测试 用 例 。 随 着 
项 目的 展开 ， 他 需要 知晓 代码 的 变化 和 测试 的 不 足 ， 这 时 代码 覆盖 率 
能 提供 有 帮助 的 信息 。 为 此 ， 他 需要 持续 统计 代码 覆盖 率 ， 并 用 它 来 
改进 测试 。 以 下 是 三 种 可 能 的 做 法 。 


第 一 ， 每 日 构建 生成 产品 的 发 布 版 、 调 试 版 和 徐 盖 版 ， 使 得 目 动 化 测 
斌 可 以 提供 最 新 的 履 阵 率 结 采 。 通 向 覆盖 版 部 是 对 调试 版 进行 代码 插 
桩 所 得 ， 行 为 与 调试 版 一 致 。 除 了 一 些 性 能 敏感 的 测试 用 例 ， 其 他 测 
试用 例 都 可 以 在 履 将 版 上 执行 ， 以 获得 大 部 分 测试 用 例 的 覆 兰 率 。 在 
我 的 部 门 ， 有 一 个 项 目 组 束 是 这 么 做 的 。 他 们 的 每 日 测试 会 生成 一 份 
当天 的 代码 用 盖 率 报告 供 测 试 人 员 参 考 。 


第 二 ， 定 期 生成 被 测试 程序 的 履 盖 版 ,分 析 代 码 窗 盖 率 。 现 在 代码 徐 
次 率 工具 很 多 ， 测 试 人 员 很 容易 收集 代码 履 吉 率 信 息 。 工 具 的 门槛 很 
低 ， 关 键 在 于 投入 精力 ， 坚 持 收 集 并 分 析 。 


第 三 tet BO mi 率 工 具 ， 通 过 阅读 代码 、 在 调试 器 中 执行 测试 
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行 ， 缺 点 是 难以 生成 美观 的 代码 覆盖 率 报 告 。 从 提高 测试 质量 的 角度 
看 ， 其 效果 与 其 他 策略 相当 ， 甚 至 可 能 更 好 。 因 为 代码 覆盖 率 的 关键 
不 是 工具 ， 而 是 对 代码 的 理解 。 


由 以 上 案例 不 难看 出 ， 测 斌 人员 需要 探究 度 量 方法 到 E 唯 有 如 
此 ， 他 才能 在 恰当 的 时 机 ， 以 恰当 的 方式 来 实施 度量 ， 并 实现 目标 。 忽 视 
度量 背后 的 动机 ， 将 错过 改进 测试 流程 的 机 会 ， 难以 真正 提高 开发 过 程 的 
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质量 。 


在 理解 目标 之 后 ， 测 试 人 员 可 以 更 好 地 实施 度量 ， 让 度量 成 为 软件 开发 的 
助手 。 下 面 是 一 个 真实 的 案例 。 


有 一 次 ， 我 接 到 一 个 测试 任务 ， 去 测试 一 个 web 服务。 这 个 Web 服 务 用 
ae a e a a 
一 个 小 项 目 ， 核 心 逻辑 大 约 在 千 行 上 下 。 我 接手 的 时 候 ， 代 码 已 经 
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当时 ， 我 最 藉 痛 的 是 不 知道 该 Web 服 务 的 业务 远 得 和 实现 过 贸 。 在 仔细 
ae ea 从 邮件 之 后 ， 大 致知 晓 了 项 目 背 
， 但 是 仍旧 不 了 解 实现 逻辑 ， 也 不 知道 什么 行为 是 可 以 接受 的 、 什 


么 行为 是 错误 的 。 由 于 开发 者 与 我 有 16 个 小 时 的 时 过， 不 能 随时 和 他 
联系 ， 很 多 问题 得 不 到 及 时 的 解答 ， 测 试 很 难 展开 。 

为 了 有 所 突破 ， 我 开始 阅读 实现 代码 。 我 的 方法 是 ， 在 编程 工具 Visual 
Studio 中 单 步 执行 开发 者 的 测试 用 例 ， 观 察 程序 中 变量 值 的 变化 和 数据 
库 中 数据 的 改变 。 有 了 初步 的 认 知 ， 我 开始 增加 测试 用 例 。 大 部 分 测 
试用 例 都 是 一 个 模式 。 

步 又 1: 恢复 被 测 Web 服 务 的 数据 库 到 初始 状态 。 


人 


步骤 3: 对 数据 库 中 的 数据 进行 一 致 性 检查 。 我 化 了 许多 时 间 编 写 并 增 
强 检 查 代 码 ， 整 个 测试 开发 过 程 是 渐进 的 。 


步骤 4: 执行 当前 测试 所 特有 的 检查 。 


设计 完 一 个 测试 用 例 ， 我 就 在 Visual Studio 中 单 步 执行 它 ， 从 而 更 深入 
地 了 解 实现 逻辑 。 在 阅读 、 执 行 代 码 的 过 程 中 ， 我 发 现 了 一 些 洪 在 的 
问题 。 这 时 ， 我 会 增加 一 个 测试 用 例 去 “证 明 ” 当 前 问题 可 以 导致 产品 
的 失败 。 随 着 测试 用 例 越 来 越 多 ， 我 对 代码 的 理解 也 越 深 ， 发 现 的 缺 
陷 也 越 多 。 后 来 ， 缺 陷 不 那么 好 找 了 ， 我 束 仔 细 地 读 代 码 ， 特 别 是 那 
些 没有 被 测试 覆 关 过 的 代码 。 然 后 ， 便 增加 测试 用 例 去 尽 可 能 地 提高 
测试 用 例 的 覆盖 率 。 当 时 的 策略 是 ， 测 试用 例 集 要 尽 可 能 地 霍 盖 所 有 
的 代码 块 ， 它 还 要 禾 盖 主要 的 数据 状态 和 我 觉得 有 风险 的 数据 变更 。 


在 项 目 结束 的 时 候 ， 我 对 测试 的 代码 用 蓄 率 很 有 自信 。 只 有 三 个 在 

catch 语句 中 的 代码 块 没有 被 覆盖 ， 它 们 在 产品 环境 中 被 执行 的 概率 
非常 低 。 而 且 我 仔细 阅读 过 代码 ， 它 们 即便 被 执行 也 不 会 导致 失败 。 
实际 上 ， 我 比较 担心 的 是 测试 没有 黎 凋 一 些 复杂 的 数据 转换 。 虽 然 我 
在 不 停 地 补充 此 类 测试 用 例 ， 但 是 这 个 项 目的 测试 周期 较 短 ， 测 试用 
例 能 够 覆 兰 的 程序 状态 至 间 还 是 偏 少 。 庆 举 的 是 ， 产 品 上 线 后 运行 民 
好 ， 没 有 发 现 问题 。 

回顾 这 个 项 目 ， 我 觉得 有 两 点 经 验 可 以 吸取 。 

第 一 ， 人 的 大 脑 才 是 最 好 的 代码 攻 盖 率 工 具 。 代 码 获 蓄 率 工具 能 提供 
大 量 的 信息 。 只 有 在 充分 理解 代码 与 测试 的 前 提 下 ， 这 些 信 息 才能 得 
到 有 效 的 利用 。 这 个 项 目的 代码 规模 较 少 ， 因 此 我 没有 使 用 代码 覆盖 
率 工 具 。 通 过 反复 阅读 代码 、 调 试 代码 ， 我 收集 了 代码 覆盖 率 信息 ， 


并 利用 这 些 信息 改进 了 测试 。 可 以 说 ， 代 码 履 盖 率 是 随 着 对 代码 不 断 
的 探索 而 目 然 提高 的 。 对 于 大 型 项 目 ， 合 理 的 利用 代码 覆盖 率 工具 目 
然 是 大 有 神 益 的 。 在 这 一 过 程 中 ， 阅 读 、 理 解 、 探 索 代 码 仍 旧 是 指导 
测试 的 核心 活动 。 


第 二 ， 代 码 窗 盖 率 只 提供 了 程序 结构 被 覆盖 的 信息 ， 测 试 人 员 还 需要 
关注 程序 状态 是 否 补 有 效 地 覆盖。 在 本 项 目 中 ， 程 序 的 状态 可 以 视 为 
数据 库 中 的 数据 值 。Web 服 务 能 否 完成 很 多 时 候 取决 于 初始 数据 值 是 否 
有 效 、 目 标 数据 值 是 否 可 以 接受 。 相 同 的 执行 路 径 对 于 不 同 的 数据 会 
产生 完全 不 同 的 结果 。 如 果 仅 仅 关 注 程序 结构 ， 很 可 能 会 漏 掉 一 些 由 
程序 状态 引发 的 问题 。 


9.4.3 ”掌握 属性 和 算法 的 联系 

在 常用 软件 度量 中 ， 大 部 分 属性 是 很 难 直 接 评估 的 ， 度 量 方法 都 是 在 统计 
丛 代 对 象 的 情况 。 也 吏 是 说 ， 上 度量 方法 本 质 上 并 没有 直接 评估 属性 ， 而 是 
在 提供 替代 对 象 的 信息 。 基 于 某 种 理论 或 假设 ， 度 量 者 认为 奉 代 对 象 的 信 
思 反 应 了 属性 的 特征 ， 即 算法 和 属性 间 存 在 合理 的 联系 。 表 9-4 总 结 了 一 些 
常见 度量 的 属性 、 和 替代 对 象 和 联系 。 


表 9-4 属性 和 算法 的 联系 


算法 所 使 用 的 替代 对 象 联系 〈 算 法 所 依赖 的 假设 ) 


杂 的 执行 路 径 ， 复 杂 的 执行 


分 支 和 循环 关键 字 的 | 
现 频率 


hk 
复杂 。 


杂 性 是 代码 复杂 性 的 主要 


门 的 测试 策 | 


e 测试 人 员 有 充分 的 时 间 和 资源 来 寻找 错误 。 

当前 活路 的 缺陷 数目 |o 测试 人 员 报 告 了 他 们 发 现 的 所 有 缺阵 i ° 

o 缺陷 评审 小 组 认真 地 评审 了 所 有 缺陷 ，3 

决 方法 (修复 、 不 予 修复 、 延 后 e 

旦 复 缺 陷 ， 不 引入 更 多 的 修复 。 
可 人 都 遵守 标准 的 缺陷 处 理 流程 ， 不 会 随意 关闭 


on 联系 〈 算 法 所 依赖 的 假设 ) 


测试 覆盖 了 某 条 语句 ， 习 
on d 应 的 所 有 机 器 代码 。 
行 的 质 | GR AAD | ee ans 


WUT A A oe EB 


e 大 部 分 测试 用 例 拥有 相似 的 粒度 和 工作 量 。 
o 大 部 分 测试 用 例 已 经 记录 在 案 。 

1 试 的 记录 在 案 的 测试 用 例 数 ae eae 不 会 再 记录 更 多 的 测试 用 例 。 这 意味 着 软 

Wr: = Te 


+ JA Re a N OA T Le 
目 和 已 经 执行 的 测试 用 件 需求 冻结 ， 软件 不 再 变更 ， 新 的 项 目 风险 不 会 
进度 | ae 出 现 。 
e 测试 人 员 会 记录 每 个 测试 用 例 的 结果 
。 测 斌 人员 在 测试 过 程 中 不 设计 新 的 测试 用 例 。 这 意 
味 着 他 不 调查 测试 所 发 现 的 新 情况 


测试 人 员 的 大 部 分 时 间 都 在 执行 测试 并 报告 缺陷 
这 意味 着 他 不 进行 其 他 技术 调查 活动 ， 括 帮助 其 他 


WRA IMEA B EFE vent | 人 进行 测试 。 
eee ee 


测试 人 员 所 测试 的 模块 拥有 相当 的 缺陷 数量 。 
2 程 池 全 向 测试 入 员 提 供 了 相册 的 技术 支持 


由 表 9-4 可 知 ， 常 见 的 度量 方法 往往 依赖 于 一 组 假设 。 任 何 稍 有 工作 经 验 的 
人 都 可 以 看 出 许多 假设 并 非 总 是 成 立 。 这 意味 着 度量 值 所 提供 的 信息 往往 
征 有 偶 兰 的 ， 有 是 不 符合 真实 情况 的 。 而 且 ， 度 量 值 通 单 是 对 复杂 属性 的 简 
单 评 佑 ， 即便 有 “一 叶 知 秋 * 的 潜力 ， 也 难免 “一 叶 障 目 ” 的 风险 。 所 以 ， 有 经 
验 的 测试 人 员 只 把 度量 方法 当做 技术 调查 的 一 种 工具 ， 用 它们 来 获得 深入 
研究 的 线索 ， 而 非 提供 最 终 管 案 。 


因为 度量 结果 总 是 有 偏差 的 、 瞩 面 的 ， 所 以 仅 凭 借 数字 就 作出 项 目 决策 是 
危险 的 。 为 了 获得 全 面 认 识 ， 测 试 人 员 会 使 用 多 个 度量 方法 从 不 同 角度 评 
佑 属性 ， 并 交叉 比 对 度量 值 。 他 会 进一步 直接 研究 调查 对 象 ， 获 得 第 一 手 
资料 5 以 下 十 一 些 例 于 。 


。 当 测试 人 员 分 析 代 码 复杂 性 时 ， 他 会 仔细 阅读 复杂 上 度 较 局 的 代码 ， 分 
析 它 们 为 什么 拥有 较 高 的 度量 值 。 更 重要 的 是 ， 他 会 针对 代码 的 特点 
构思 相应 的 测试 楚 HJE ° 


， 当 测试 人 员 分 析 测 试 活动 的 质量 时 ， 他 会 从 多 个 方面 考察 测试 覆 斑 的 
情况 : 结构 、 功 能、 数据 、 接 口 、 平 台 、 操 作 、 时 间 等 (参见 2.2.2 
, 基于 调查 结果 ， 他 会 补充 设计 测试 用 例 ， 以 欢 补 测试 覆 兰 的 漏 
jE 


当 测 试 经 理 评估 测试 进度 时 ， 他 会 在 多 个 维度 上 分 析 已 经 完成 的 测试 
工作 : 缺陷、 需求、 代码、 配置 、 变更 历史 FEFA ` WAAT ` Z 
据 等 。 任 何 单一 的 度量 方法 都 是 不 够 的 ， 且 常常 产生 误导 。 


=P" aE 经 理 需要 了 解 产 品质 量 时 ， 他 会 用 “卖点 漫游 "去 考察 产品 最 具 
价 全 的 情景 并 用 真实 的 任务 来 考验 它 的 表现 。 此 外 ， 他 会 和 测试 人 
员 交 谈 ， 了 解 他 们 发 现 的 问题 ， 倾 听 他 们 对 项 目 风险 和 产品 缺点 的 担 
忧 。 他 还 会 和 程序 员 交 流 ， 了 解 他 们 所 面临 的 困难 和 需要 完成 的 任 

务 。 在 很 多 时 候 ， 询 问 团队 成 员 对 项 目 和 产品 的 “感觉 >， 能 够 获得 许 
多 有 价值 的 信息 。 


当 测 试 经 理想 要 了 解 下 属 的 工作 情况 时 ， 他 会 阅读 测试 人 员 提 交 的 缺 
陷 报 告 ， 以 了 解 他 的 测试 方法 、 诊 断 问 题 的 技巧 、 书 写 报告 的 严 谍 程 
度 。 然 后 ， 他 会 与 测试 人 员 面 谈 ， 知 晓 他 面 对 的 具体 问题 ， 以 及 他 所 
采取 的 解决 方案 。 


当 测试 人 员 获 得 度量 值 之 后 ， 他 需要 自问 ， 这些 度 量 值 该 作 何 解释 ? 如 何 
解释 度量 算法 与 属性 的 联系 ? 如 何 解 释 度 量 算法 的 合理 性 ? 我 需要 具体 调 
查 哪些 对 象 来 获得 解释 ? 为 什么 度量 值 如 此 之 低 (或 如 此 之 高 ) ? 它们 反 
应 了 什么 情况 ? 针对 这 些 情 况 ， 我 应 该 采取 何 种 行动 ? 这 些 问题 将 驱动 他 
做 一 些 后 续 研 究 ， 获 得 更 全 面 的 理解 。 


当 测 试 人 员 向 管理 层 提 有 交 度 量 值 之 前 ， 他 必须 能 够 清晰 地 解释 度量 值 的 含 
义 ， 并 用 具体 的 案例 来 支持 自己 的 观点 。 如 果 某 个 度量 值 引起 了 项 目 领导 
的 兴趣 ， 他 会 向 测 试 人 员 询 问 相 关 情 况 。 如 采 测 试 人 员 不 能 解释 目 己 给 出 
的 数值 ， 他 的 专业 水 平 会 受到 质疑 ， 而 职业 的 测试 人 员 能 够 痢 太 度 量 值 所 
反应 的 情况 ， 给 出 详细 的 案例 说 明 ， 并 提出 目 己 的 建议 。 


9.4.4 理解 度量 方法 的 优点 和 缺点 


在 掌握 了 属性 和 算法 的 联系 后 p, DAA B a SEAR EE ET ARS LR 
Joo GM, AEA m 5 Fh 3 率 度 量 方法 ， 它 拥有 如 下 优点 


。 粒度 适中 。 从 编译 器 的 角度 ， 程 序 设计 语言 的 基本 构建 块 是 常量 、 标 
识 符 和 运算 符 ， 它 们 构成 了 表达 式 ， 表 达 式 构成 了 语句 ， 语 句 构成 了 
更 复业 的 函数 和 类 。 虽 然 语句 并 不 是 语法 分 析 的 最 小 元 素 ， 但 是 它 仍 


日 是 编译 善 解析 代码 的 基本 元 素 ， 能 够 较 准 确 地 映射 到 编译 生成 的 机 
费 代 码 上 。 以 语句 作为 覆 珊 率 分 析 的 目标 ， 能 够 较 细 致 地 评估 测试 执 
ITA ia Lae TVA ° 


。 HEDE ° TEA) eS SEAR EL, ce PS SY Sek AS 
TORR ° MDA Bes EMEA A SSR, ET eA ih 
的 语句 产生 新 的 测试 想法 。 


。 方 便 实 用 。 目 前 有 许多 成 熟 的 工具 可 以 评估 测试 执行 的 语句 覆盖 率 ， 
并 生成 精美 易 读 的 报告 。 测 斌 人 员 只 需 付出 很 少 的 精力 去 配置 工具 ， 
BRN AR ATT He R, 为 产生 更 多 的 测试 想法 提供 信 


与 此 同时 ， 语 句 覆 盖 率 也 具有 一 些 不 可 名 视 的 不 足 。 


。 编译 需 通 常 将 程序 设计 语言 的 一 条 语句 翻译 为 多 条 机 器 指令 。 有 时 ， 
某 条 语句 被 测试 覆盖 并 不 意味 着 所 有 的 机 器 指令 被 测试 覆盖 。 例 如 ， 
语句 bool x = condition1() && condition2()， 对 两 个 函数 
的 返回 值 实施 与 运算 。 如 果 画 数 conditiond1 返回 false ， 那 么 与 运 
算 符 && 不 会 调用 函数 condition2 ， 它 会 立即 给 出 计算 结果 false 
。 有 些 覆 盖 率 工具 不 能 标记 出 condition2 没有 被 执行 ， 它 们 会 笼统 
地 记录 语句 bool x = condition1() && condition2(); 被 测 
试 覆 盖 。 可 见 ， 虽 然 语句 履 盖 是 一 种 基于 结构 的 履 盖 ， 统 计 语 句 履 盖 
率 的 工具 可 能 会 漏 掉 一 些 程序 结构 。 


。 作为 一 种 基于 结构 的 履 凑 方法 ， 语 句 罗 瘟 率 不 能 发 现 那些 应 该 被 实现 
但 是 没有 被 实现 的 代码 。 许 多 缺陷 的 根源 是 程序 员 没 有 为 特殊 情况 或 
异 币 情 况 编写 处 理 代 码 ， 话 句 履 凋 率 对 发 现 此 类 错误 没有 帮助 。 此 
外 ， 另 一 些 缺 陷 的 原因 和 是 代 码 不 能 合理 地 处 理 输入 数据 或 程序 状态 ， 
语句 覆盖 对 发 现 此 类 数据 与 状态 也 没有 帮助 。 这 意味 着 ，100% 的 语句 
和 窗 盖 并 不 能 保证 程序 经 受 了 足够 的 测试 。 


。 测试 人 员 需 要 考虑 结构 、 功 能 、 数 据 、 接 口 、 平 台 、 操 作 、 时 间 等 和 
蔓 因 素 。 如 果 测 试 人 员 只 专注 于 语句 覆盖 (结构 覆盖 ， 那 么 他 会 错 
失 许 多 有 价值 的 测试 想法 ， 从 而 遗漏 一 些 严 重 的 缺陷。 


严格 地 说 ， 任 何 度 量 方法 都 是 对 属性 的 简化 ， 其 结果 都 丢失 了 属性 的 一 些 
重要 人 信息。 因此， 测试 人 员 必 须 掌 握 方法 的 不 足 ， 唯 有 如 此 他 才能 在 恰当 
的 范围 中 运用 方法 ， 并 规避 潜在 的 问题 。 


945 ”密切 关注 度量 的 副作用 


在 许多 项 目 中 ， 项 目 管理 者 党 试用 度量 值 来 推动 项 目 发 展 ， 并 激励 项 目 人 
员 在 相关 方面 做 得 更 好 。 这 种 良好 的 意图 可 能 导致 意料 之 外 的 副作用 。 当 
员工 意识 到 管理 层 在 强制 要 求 度量 值 到 达 某 种 水 平时 ， 他 们 会 改变 自己 的 
行为 ， 使 得 度量 值 更 “好 看 ”， 而 不 是 让 产品 变 得 更 好 。 人 恰 如 前 两 节 所 讨论 
的 ， 度量 值 只 有 在 特定 假设 成 立时 才能 反应 部 分 的 真实 情况 ， 而 强制 追求 
ee ee ee eee 
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许多 团队 会 用 缺陷 数目 来 评估 产品 质量 。 由 表 9-4 可 知 ， 该 度量 方法 的 有 效 
性 依赖 于 一 系列 前 所 条 件 。 不 幸 的 是 ， 这 些 前 提 很 容易 被 破坏 。9.1.2 下 提 
到 了 一 个 真实 的 和 案例， 在 产品 发 布 前 和 夕 ， 项 目的 管理 者 制定 了 一 条 规则 : 

任何 一 个 新 缺陷 必须 在 24 小 时 内 解决 。 他 们 期 望 程序 员 和 测试 人 员 可 以 通 
力 合 作 ， 计 产品 代码 能 够 快速 稳定 下 来 。 然 而 ， 这 条 基于 缺陷 数目 的 规则 
导致 了 一 些 不 民 副 作用 。 以 下 征 对 当时 情况 的 摘 述 。 


对 于 一 些 复杂 的 缺陷 ， 没 有 人 可 以 承诺 在 24 小 时 内 完成 修复 和 检验 。 
但 是 ， 程 序 员 和 测试 人 员 仍 旧 愿 意 修 复 它 们 。 因 为 产品 是 他 们 的 工作 
成 果 ， 体 现 了 他 们 的 价值 ， 所 以 他 们 想 竟 尽 所 能 去 提 融 其 质量 。 不 季 
的 是 ， 缺 陷 评 审 小 组 会 因为 缺陷 无 法 在 24 小 时 内 修复 ， 将 其 解决 为 “不 
予 修复 ”或 “延迟 修复 ”。 这 挫伤 了 第 一 线 员 工 的 士气 。 


为 了 让 缺陷 得 到 修复 ， 测 试 人 员 在 发 现 缺 陷 之 后 ， 并 不 提交 正式 的 缺 
陷 报 告 ， 而 是 直接 通知 程序 员 ， 让 其 着 手 修 复 。 在 程序 员 在 完成 修复 
后 ， 测 试 人 员 才 正式 提交 缺陷 。 也 就 是 说 ， 测 试 人 员 和 程序 员 达 成 了 
协议 ， 共 同 开 发 出 一 个 秘密 的 开发 流程 。 他 们 一 边 在 维护 管理 层 所 和 斋 
望 的 度量 值 ， 一 边 在 按 自己 的 心愿 来 改进 产品 。 


另 一 种 让 缺陷 得 到 修复 的 办 法 是 只 提交 最 挛 重 的 缺 隐 ， 以 获得 缺陷 评 
审 小 组 的 修复 许可 。 在 签 入 代码 时 ， 程 序 员 会 同时 签 入 多 个 缺陷 的 修 
复 。 也 就 是 说 ， 程 序 员 和 测试 人 员 保 存 了 一 份 不 公开 的 缺陷 列表 ， 他 
们 会 批量 地 编写 、 测 试 和 签 入 修复 代码 。 


无 论 哪 种 方法 都 使 得 管理 层 不 能 准确 地 知晓 目前 有 哪些 活跃 的 缺陷 、 
缺陷 的 严重 程度 如 何 、 缺 陷 发 现 呈现 出 何 种 趋势 ， 也 使 得 缺陷 报告 不 
能 反应 缺陷 修复 的 工作 量 。 这 动 播 了 项 目 决 策 的 数据 基础 ， 令 项 目 发 
展 承担 了 更 大 的 风险 。 令 人 怖 展 的 是 ， 管 理 者 、 程 序 员 、 测 试 人 员 都 
在 以 目 己 的 方式 来 帮助 产品 ， 却 令 产品 质量 受到 威胁 。 


有 些 项 目 团队 不 但 统计 缺陷 数目 ， 还 会 统计 测试 用 例 总 数 和 已 通过 的 测试 
用 例 数目 ， 以 评估 测试 活动 的 进度 。 我 认为 这 种 基于 测试 用 例 数 目的 进度 
度量 不 会 获得 期 望 的 效果 ， 且 具有 严重 的 副作用 。 


。 测试 人 员 无 法 预测 有 多 少 测试 用 例会 被 执行 。 在 测试 过 程 中 ， 新 发 现 
会 激发 新 的 测试 想法 ， 进 而 生成 更 多 的 测试 用 例 。 因 为 测试 人 员 不 能 
预料 会 发 现 哪 些 信息 和 缺陷 ， 他 也 不 能 给 出 最 终 的 测试 用 例 总 数 。 既 
然 合算 测试 用 例 总 数 是 “不 可 能 的 任务 ”， 测 试 人 员 束 只 能 提供 一 个 不 
确定 性 很 大 的 估算 值 。 利 用 这 样 的 估算 值 评估 项 目 情况 是 有 风险 的 。 


强制 要 求 测试 人 员 记 录 所 有 测试 用 例 及 其 执行 结 末 会 当 费 测试 人 员 的 
时 间 。 测 试 是 一 个 探索 过 程 ， 测 试 人 员 设 计 测试 用 例 ， 以 刺探 产品 信 
思 ， 并 根据 产品 的 反应 设计 更 多 的 测试 用 例 。 记 录 所 有 的 测评 用 例 及 
其 结 末 会 打 断 “设计 一 实验 -反思 -= 再 设计 ”的 迭代 过 程 ， 降 低 了 测试 
效率 。 而 且 ， 并 不 是 所 有 的 测试 用 例 都 有 文档 化 的 价值 。 许 多 测试 用 
例 只 需要 运行 一 次 ， 将 它们 记录 在 案 只 是 纯粹 的 文案 工作 ， 不 会 为 项 
目 提 供 价值 。 在 大 多 数 情 况 下 ， 测 试 人 员 只 需 记录 测试 数据 、 测 试 入 
略 (一 组 指导 测试 设计 的 测试 想法 ) 和 所 发 现 的 缺陷 与 风险 (为 后 续 
的 测试 设计 提供 指导 信息 ) 。 更 多 讨论 请 参考 3.2.13 节 介绍 的 测 程 表 。 


因为 详细 地 预测 和 记录 测试 用 例 不 是 切实 可 行 的 测 斌 活动， 测试 人 员 
通常 不 会 认真 地 统计 测试 用 例 总 数 和 已 通过 的 测试 用 例 个 数 (即便 他 
们 认真 对 每 ， 也 会 受挫 ) 。 这 意味 着 他 们 提供 的 信息 是 不 准确 的 ， 而 
使 用 不 准确 的 信息 会 导致 错误 的 项 目 决定 。 此 外 ， 不 合理 的 度量 会 氛 
伤员 工 的 积极 性 ， 隐 性 地 降低 工作 效率 。 


坦率 地 说 ， 度 量 的 副作用 往往 来 自 管理 层 制 定 的 开发 流程 。 测 试 人 员 可 能 
没有 勇气 公开 对 项 目 管理 者 提出 反对 和 意见。 然而 ， 沉 默 并 不 会 缓解 问题 ， 
负责 任 的 测试 人 员 应 该 做 正确 的 事 。 这 并 不 容易 ， 也 没有 通用 的 应 对 方 
法 。 本 市 提供 两 点 建议 ， 供 测试 人 员 参 考 。 


第 一 ， 测 试 人 员 应 该 坚持 原则 ， 以 正直 的 态度 来 服务 团队 。 这 体现 为 测试 
人 员 应 该 提供 诚实 的 信息 ， 包 括 如 实 提 区 缺 陷 、 报 告 进度 、 提 供 度量 值 

等 。 即 便 存 在 “ 沐 屎 ?缺陷 的 压力 ， 测 试 人 员 也 要 如 实 提交 所 发 现 的 错误 。 
即便 度量 方法 不 甚 合理 ， 测 试 人 员 也 要 提供 真实 而 非 杜 握 的 数值 。 诚 实地 
提供 技术 信息 是 测试 人 员 的 职责 ， 也 是 后 续 改 进 的 基础 。 


第 二 ， 测 试 人 员 应 该 密切 关注 度量 的 副作用 。 如 果 发 现 茶 个 度量 正在 产生 
人 负面 影响 ， 他 应 该 构建 理论 、 收 集 证 据 和 提出 改进 方法 。 也 束 是 说 ， 他 要 
能 解释 该 度量 的 基本 元 素 (意图 、 属 性 、 算 法 、 联 系 ) ， 并 阐述 它 会 在 当 
前 项 目 环境 中 产生 不 民 副 作用 。 然 后 ， 他 需要 收集 支持 其 观点 的 案例 和 数 


+ 


据 。 仅 仅 表明 当前 度量 存在 问题 是 不 够 的 ， 测 试 人 员 还 需要 思考 如 何 改进 
当前 流程 ， 提 出 相应 的 解决 方法 。 之 后 ， 他 应 该 与 测试 经 理 一 对 一 地 面 
谈 ， 解 释 目 己 的 理论 、 证 据 和 新 方法 ， 疝 他 提供 第 一 线 员 工 对 工作 流程 的 
有 反馈。 有 时 ， 测 试 人 员 可 以 和 几 个 同事 达成 一 致意 见 ， 然 后 一 起 向 测试 经 
理 反 馈 意 见 ， 利 用 团队 的 力量 来 增强 观点 的 说 服 力 。 


9.4.6 ”注重 实效 的 计算 
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数 统计 等 。 这 些 度 量 方法 拥有 明确 的 统计 对 象 ， 简 单 明 了 的 算法 ， 能 够 更 
直接 地 阐述 度量 值 的 舍 义 。 度 量 只 是 技术 调查 的 辅助 工具 ， 简 单 的 方法 能 
用 较 小 的 付出 获得 足够 好 的 信息 ， 为 后 续 调 查 留 下 更 多 的 资源 和 时 间 。 随 
着 项 目的 发 展 ， 他 可 以 逐渐 引入 一 些 新 的 度量 方法 。 这 是 一 个 实验 的 过 

程 ， 他 会 保留 被 实践 证 明 行 之 有 效 的 方法 ， 并 去 除 那 些 没 有 帮助 的 方法 。 


其 次 ， 测 试 人 员 应 该 尽量 自动 地 计算 度量 结果 。 本 书 的 7.1.1 世 、8.2.1 节 、 
8.2.2 广 、9.3.3 市 对 此 提供 了 一 些 建议 。 人 简 而 言 之 ,测试 人 员 应 该 掌握 一 门 
开发 效率 高 的 程序 语言 ， 从 而 快速 地 实现 度量 算法 。 考 虑 到 许多 团队 用 数 
据 库 存储 项 目 数据 ， 熟练 地 使 用 SQL 将 帮助 测试 人 员 极 大 地 提高 开发 效 
率 。 此 外 ， 电 子 表 格 软件 能 快速 地 完成 一 些 计算 任 务 ， 且 提供 了 强大 的 作 
图 功能 ， 也 是 测试 人 员 计 算 和 呈现 度量 值 的 好 工具 。 


第 三 ， 测 试 人 员 应 该 在 测试 活动 结束 后 立即 收集 度量 所 需要 的 输入 数据 。 
准确 的 度量 值 依赖 于 正确 的 算法 和 准确 的 数据 。 为 了 避免 记忆 错误 、 数 据 
丢失 等 问题 ， 测 试 人 员 应 该 尽早 收集 必要 的 项 目 数据 ， 并 妥善 保存 。 如 采 
用 测 程 组织 测 试 活动 ， 他 可 以 在 一 个 测 程 结 束 后 ， 记 录 相 关 数 据 。 此 外 ， 
他 也 可 以 在 每 天 下 班 前 回顾 当天 的 工作 ， 反 思 测 试 策略 ， 总 结 测试 进度 ， 
并 记录 必要 的 数据 。 


9.5 测试 小 组 

测试 小 组 是 项 目 团队 的 一 部 分 ， 是 一 个 小 型 的 团队 。 所 谓 团队 不 是 一 群 在 
同一 地 点 工作 的 人 ， 而 是 一 群 彼此 支持 以 达成 共同 目标 的 人 。 本 节 讨 论 测 
试 人 员 如 何 加 入 测试 小 组 的 团队 协作 中 。 


9.5.1 价值观 


适应 团队 风格 的 第 一 步 是 了 解 团队 的 价值 观 。 有 些 团 队 会 明确 前 述 目 己 所 
秉持 的 价值 观 ， 并 在 日 常 工 作 中 予以 贯彻 。 即 便 没 有 明文 记载 ， 测 试 人 员 
仍旧 可 以 感受 到 测试 小 组 固有 的 工作 风格 和 价值 取舍 。 在 这 样 的 团队 中 ， 
测试 人 员 要 遵循 团队 的 价值 观 ， 使 目 己 的 行为 符合 同事 与 领导 的 期 望 。 


不 过 ， 有 些 团 队 并 没有 明确 的 价值 观 ， 或 者 测试 小 组 的 行为 并 不 像 测试 经 
理 所 宣称 的 那样 。 判断 测试 经 理 (或 测试 人 员 ) 是 否 真 的 重视 某 件 事 ， 就 
要 看 他 有 没有 投入 时 间 和 精力 去 把 它 做 好 。 如 有 果 测 试 经 理 宜 称 他 非常 重视 
测试 人 员 的 协作 ， 却 很 少 出 席 例 行 的 测试 协调 会 议 ， 那 么 测试 人 员 束 知 

道 “ 测 试 协作 ”并 不 是 他 最 重视 的 东西 。 如 有 果 测 试 经 理 反 复 强 调 目 动 化 测试 
的 重要 性 ， 测 试 小 组 却 任 由 大 量 的 测试 用 例 遭 遇 失 败 而 不 予 修复 ， 那 么 测 
试 人 员 就 知道 自动 化 测试 的 稳定 性 ”并 不 是 高 优先 级 的 任务 。 无 论 团队 风 
格 如 何 ， 测 试 人 员 都 必须 对 自己 负责 ， 他 需要 确定 自己 的 价值 观 ， 以 引导 
目 己 的 职业 发 展 。 


个 同 的 测 斌 人员 基 - 目 喘 情况 和 项 目 环境 会 建立 不 同 的 价值 观 。 其 中 ， 有 
两 点 是 需要 坚持 的 基础 。 第 一 点 是 本 章 所 反复 强调 的 “正直 ”， 这 是 一 个 信 
息 提供 者 的 信誉 基础 。 第 二 点 是 “互助 "， 这 是 团队 工作 的 基础 。 


互助 的 第 A “一 方面 ， 只 有 先行 完成 目 己 的 
工作 ， 才 有 和 额外 的 时 间 去 帮助 测试 伙伴 。 男 一 方面 ， 测 试 人 员 之 间 十 相互 
配合 的 关系 ， SSF ROLL ARRA AREER BEEBE 


对 于 测试 人 员 而 言 ， 互 助 还 意味 着 在 团队 中 分 享 测试 情报 ， 让 其 他 人 可 以 
了 解 最 新 情况 ， 避 开 已 知 问题 ， 从 而 更 有 效 地 探索 软件 。 例 如 ， 测 试 人 员 
可 以 在 以 下 领域 中 作出 页 献 。 


。 测试 小 组 周 会 。 许 多 测试 小 组 会 举办 周 会 ， 以 颁布 制度 、 通 报 情况 、 
布置 任务 、 协 调 活动 、 展 示 技 术 等 。 通 常 ， 测 试 经 理会 主持 周 会 ， 负 
责 具 体 任务 的 测试 人 员 会 介绍 相应 的 情况 。 如 果 测 试 人 员 有 信息 需要 
分 享 给 测试 小 组 ， 他 可 以 事先 通知 测试 经 理 ， 以 便 将 相关 内 容纳 入 会 
议 议程 。 在 会 议 上 ， 他 会 介绍 情况 ， 并 回答 小 组 成 员 的 提问 。 如 有 果 有 
一 些 问 题 不 能 当场 解决 ， 他 应 该 受 赦 记 杂 ， 并 在 会 后 积极 跟 进 。 


测试 小 组 知识 库 。 * 组织 民 好 的 测试 小 组 者 会 考虑 构建 目 己 的 知识 库 。 
知识 库 的 载体 通常 是 支持 多 人 协作 编辑 的 Wiki 网 页 或 共享 笔记 本 (如 
Micorosft OneNote) ， 其 内 容 涉及 测试 活动 的 方方面面 ， 包 括 测 试制 
度 、 工 作 流程 、 测 斌 指南、 测试 想法 列表 、 检 查 列表 、 移 交 文 档 、 缺 
陷 模 板 、 文 档 模 板 、 常 用 工具 、 推 荐 实践 等 。 好 的 知识 库 提 供 了 一 个 
众所周知 的 地 点 ， 让 测试 小 组 分 享 其 知识 与 经 验 ， 让 测试 人 员 方 便 地 
搜索 有 用 的 信息 。 测 试 人 员 应 该 积极 地 向 知识 库 贡 献 信 息 ， 将 工作 中 


发 现 的 、 学 到 的 、 感 情 的 知识 记录 下 来 。 这 些 信息 不 但 能 帮助 测试 小 
组 ， 而 且 从 长 远 看 ， 对 于 测试 人 员 的 职业 发 展 有 涓 滴 成 河 之 效 。 经 过 
一 段 时 间 的 持续 积 过 ,测试 人 员 会 发 现 当初 记录 的 片段 信息 渐渐 构成 
了 体系 ， 目 身 的 能 力也 有 长 足 的 进步 。 


定期 的 测试 报告 。 恰 如 Cem Kaner 等 测试 专家 所 指出 的 ， 测 试 小 组 的 力 
量 来 源 于 沟通 ， 而 定期 的 状态 报告 是 传递 信息 的 强 有 力 的 工具 
[Kaner01]。 因此， 测试 人 员 应 该 定期 间 测 试 经 理 报告 工作 情况 。 如 果 
他 承担 了 一 项 服务 于 测试 小 组 的 任务 ， 他 也 应 该 定期 癌 测试 小 组 报告 
任务 进展 。 一 般 而 言 ， 状 态 报告 的 默认 频率 是 每 周一 次 。 对 于 一 些 不 
紧急 的 任务 ， 可 以 两 、 三 周报 告 一 次 ， 最 长 间 隅 不 要 超过 一 个 月 。 在 
one 他 可 能 需要 每 天 报告 ， 以 方便 测试 小 组 掌握 进度 、 
办 调 工 作 。 


团队 的 价值 观 最 终 体现 为 个 体 的 实际 行动 。 测 试 人 员 的 行为 不 但 能 帮助 他 
融入 团队 ， 也 会 对 团队 的 价值 观 产 生 影响 。 坚 持原 则 并 积极 互助 能 帮助 测 
试 人 员 和 测试 小 组 更 好 地 发 展 。 


9.5.2 ”团队 建设 


在 互助 的 基础 上 ， 测 试 人 员 需 要 积极 参与 团队 建设 的 活动 。 所 谓 团队 是 为 
了 解决 共同 问题 而 紧密 协作 的 一 组 人 ， 所 以 团队 建设 的 有 效 方法 是 让 小 组 
成 员 一 起 完成 任务 。 这 里 有 两 个 关键 点 ， 第 一 ， 小 组 成 员 需 要 协作 才能 获 
得 成 功 ， 单 枪 匹 马 的 作战 无 法 取得 胜利 ， 第 二 ， 任 务 需 要 成 功 完成 ， 胜 利 
会 帮助 一 群 人 族 聚 为 团队 。 基 于 这 两 点 ， 以 下 活动 对 于 团队 建设 有 溢 在 的 


帮助 。 


。 集成 测试 。 在 集成 测试 或 系统 测试 中 ， 测 试 小 组 的 成 员 会 测试 同一 个 
产品 实例 ， 他 们 要 相互 配合 以 完成 彼此 依赖 的 测试 任务 。 在 此 过 程 
中 ， 他 们 会 一 起 制订 计划 ， 共 同 解决 阻碍 测试 的 问题 ， 交 换 彼 此 拥有 
的 信息 ， 携 手 完 成 测试 流程 。 有 经 验 的 测试 领导 和 测试 人 员 会 努力 组 
en a R 
天 得 成 功 。 


结对 测试 、 组 队 测试 和 头脑 风暴 会 议 。 这 些 是 7.3.3 节 所 介绍 的 团队 测 
斌 活动， 其 特点 部 十 多 个 测试 人 员 共 同 测试 一 个 产品 实例 。 在 短 时 间 
内 ， 他 们 密切 地 交流 ， 相 互 传授 业务 知识 和 测试 技能 ， 以 油 发 出 大 量 
的 、 多 样 化 的 测试 想法 。 这 些 测试 活动 充分 利用 了 测试 人 员 的 差异 性 
和 互补 性 ， 通 过 实际 测试 展示 出 协同 作战 要 胜 过 单枪匹马 的 战斗 。 此 
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缺陷 清扫 “。 与 结对 测试 、 组 队 测试 和 头脑 风 骏 会 议 相 似 ， 缺 陷 清 扫 是 
一 项 短期 的 全 员 测 斌 活动。 除了 测试 人 员 ， 有 些 缺 陷 清扫 还 邀请 程序 
员 、 产 品 经 理 、 内 部 用 户 等 共同 参与 。 其 主要 优势 在 于 引入 了 “更 多 的 
眼睛 ”， 程 序 员 更 了 解 代码 实现 ， 有 可 能 发 现 隐藏 的 缺陷 ， 测 试 人 员 更 
擅长 缺陷 猜测 和 持续 攻击 ， 有 可 能 发 现 被 其 他 测试 人 员 所 遗漏 的 缺 
陷 ; 程序 经 理 更 理解 领域 和 业务 ， 有 可 能 发 现 流程 和 设计 上 的 缺陷 ; 
内 部 用 户 是 软件 的 使 用 者 ， 有 可 能 发 现 易 用 性 上 的 缺陷 。 总 之 ， 参 与 
者 在 技能 和 角色 上 的 过 异性 有 助 于 发 现 不 同类 型 的 缺陷 。 


接 下 来 ， 本 市 将 介绍 一 个 缺陷 清扫 的 真实 案例 ， 它 反应 了 一 些 团 队 建设 的 
基本 要 点 。 当 时 ， 我 所 在 的 测试 小 组 正在 测试 一 个 在 线 产 品 。 在 发 布 前 ， 
我 们 进行 了 一 次 缺陷 清扫 ， 其 组 织 与 执行 过 程 如 下 。 


测试 小 组 大 约 有 20 名 测试 员工 。 每 个 员工 会 人 负 贡 一 个 或 几 个 子 系统 的 
测试 ， 这 些 子 系统 会 组 成 整个 在 线 系统 。 在 集成 测试 阶段 ， 测 试 领导 
组 织 了 一 次 缺陷 清扫 ， 以 再 次 探测 子 系统 协作 中 的 缺陷 。 


测试 经 理 提前 一 周公 布 了 测试 安排 :测试 时 间 是 下 周三 下 午 1 所 到 5 
护 ， 测 试 地 点 是 一 个 足够 容纳 所 有 小 组 成 员 的 会 议 室 ， 每 位 员工 携 市 
笔记 本 电脑 前 往 测 试 。 此 外 ， 他 还 列举 了 此 次 测试 需要 重点 关注 的 子 
系统 和 使 用 情景 ， 并 提供 了 缺陷 模板 。 


随后 ， 测 试 经 理 安排 几 位 员工 去 将 建 被 测试 系统 。 他 们 选择 了 几 人 台 计 
算 机 作为 缺陷 清扫 的 “专用 测试 机 ”*"， 部 署 了 所 有 子 系统 ， 导 入 了 来 目 
产品 环境 的 业务 数据 。 接 着 ， 他 们 做 了 一 些 基 本 的 端 到 端 测 坛 ， 确 你 
该 系统 不 存在 阻碍 深入 测试 的 问题 。 


至 此 ， 缺 陷 清 扫 的 准备 工作 完成 回顾 准备 阶段 ， 不 难看 出 高 效 的 缺 
陷 清 扫 需 要 精心 的 安排 。 首 先 ， 测 试 组 织 者 要 明确 地 通报 测试 安排 ， 
邀请 测试 人 员 参 与 测试 。 第 二 ， 他 需要 公布 测试 指南 。 这 并 不 是 束缚 
测试 人 员 的 思路 ， 而 是 强调 本 次 测试 的 重点 ， 以 确保 测试 小 组 确实 测 
试 过 相关 领域 。 第 三 ， 测 试 组 织 者 要 提供 必要 的 测试 环境 ， 包 括 足 够 
舒适 的 会 议 室 、 足 够 稳定 的 被 测 系统 等 。 


在 缺陷 清扫 当天 ， 测 试 小 组 成 员 进 入 会 议 宇 ， 一 起 测试 。 会 议 室 中 有 
一 张 很 大 的 方 桌 (由 多 张 桌子 拼接 而 成 ， 让 所 有 人 可 以 围 桌 而 坐 。 
如 此 安排 座位 的 好 处 是 ， 测 试 人 员 一 抬头 束 可 以 看 到 其 他 人 的 脸 ， 能 
够 方便 地 对 话 。 当 测试 人 员 测 试 他 人 负 员 的 子 系统 时 ， 他 可 能 不 了 解 
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该 子 系统 的 业务 目标 和 使 用 方式 。 这 时 ， 他 可 以 询问 子 系统 的 测试 负 
责 人 ， 以 立即 获得 解答 。 这 种 “即时 通信 ”使 得 测试 可 以 顺畅 地 推进 ， 
也 目 然 构建 了 测试 人 员 之 间 的 互助 关系。 


在 日 音 工 作 中 ， 测 试 人 员 大 多 在 独立 工作 ， 彼 此 之 间 的 联系 并 不 紧 

密 。 在 缺陷 清扫 中 ， 测 试 人 员 进 行 渗透 式 交 流 ， 能 够 较 紧密 地 协作 。 
有 时 ， 一 位 测试 人 员 分 享 他 发 现 的 严重 缺陷 ， 这 激 起 了 其 他 人 的 测试 
灵感 ， 从 而 能 控 据 出 更 多 的 问题 。 有 时 ， 他 们 一 起 嘲笑 拙劣 的 设计 和 
滑稽 的 缺 隐 ， 甚 至 说 一 些 笑 话 以 相互 带 乐 。 这 种 活跃 的 气氛 有 助 于 更 
积极 、 更 目 由 地 测试 。 


经 过 一 段 时 间 ， 测 试 小 组 发 现 了 一 些 个 人 测试 难以 发 现 的 缺陷 。 首 

先 ， 测 试 小 组 覆盖 了 整个 线 上 系统 ， 执 行 了 许多 长 流程 、 跨 子 系统 的 
情景 ， 暴 露出 一 些 集成 层面 的 问题 。 第 二 ， 测 试 人 员 在 测试 技巧 和 思 
人 eA ee ee 


作为 测试 组 织 者 ， 测 斌 经理 杀 目 参与 缺陷 清扫 。 他 也 坐 在 方案 边 一 起 
工作 。 他 的 行为 让 测试 小 组 意识 到 领导 对 缺陷 清扫 和 团队 协作 的 重 
视 ， 因 为 他 切实 投入 了 目 己 的 时 间 。 在 测试 过 程 中 ， 测 试 经 理 每 小 时 
都 会 通报 测试 进度 ; 目前 已 经 发 现 了 多 少 缺陷 、 谁 提交 了 比较 多 的 缺 
陷 、 哪 些 缺陷 是 值得 注意 的 等 。 利 用 缺陷 数目 ， 他 用 实在 的 测试 进展 
或 舞 了 测试 小 组 的 士气 ， 也 推动 了 测试 人 员 之 间 的 民 性 竞争 。 


当 测试 进 行 到 一 半 的 时 候 ， 测 试 经 理 提 供 了 一 些 食品 ， 包 括 暮 片 、 饼 
干 、 水 果 、 钦 料 等 。 于 是 ， 测 试 人 员 暂 时 放下 测试 ， 休 已 片 刻 。 他 们 ] 
一 边 吃 和 东西， 一边 闲聊 。 这 样 的 “中 场 休 已 ”有 利于 测试 人 员 在 “下 半 
场 ” 继 续 工 作 。 


在 缺陷 清扫 结束 后 ， 测 试 经 理 统计 所 提交 的 缺陷， 然后 发 送 总 结 报告 
给 测试 小 组 。 该 报告 感谢 小 组 成 员 的 参与 ， 有 罗列 出 所 有 和 缺陷 ， 并 公布 
提交 人 缺陷 最 多 的 前 三 名 。 几 天 后 ， 测 试 经 理 辣 这 三 名 员工 颁奖 ， 奖 串 
E 
IRE o 
构建 高 效 团 队 并 没有 什么 一 定 奏效 的 方法 ， 经 理 所 能 做 的 是 营造 一 个 恰当 
的 环境 ， 让 团队 逐渐 地 自行 凝聚 [DeMacro99]。 在 此 过 程 中 ， 测 试 人 员 应 该 
意识 地 帮助 测试 伙伴 和 测试 经 理 ， 这 对 他 的 职业 发 展 也 大 有 神 益 。 


9.6 小 结 


本 章 讨论 了 测试 人 员 如 何 有 效 地 服务 于 团队 ， 并 实施 恰当 的 测试 管理 。 


测试 人 员 通 过 服务 团队 来 体现 自己 的 价值 。 这 要 求 他 设 定 正确 的 目 
标 ， 高 质量 地 完成 工作 ， 并 乐于 助人 。 


为 了 对 目 己 负责 ， 测 试 人 员 应 该 建立 正确 的 价值 观 。 其 中 ， 正 直 和 互 
助 是 核心 价值 。 


测试 人 员 的 影响 力 来 自 于 出 色 的 工作 成 果 和 工作 中 所 表现 出 的 能 力 。 


团队 成 员 都 在 尽力 帮助 项 目 ， 测 试 人 员 应 该 文 持 他 们 ， 并 用 技术 调查 
检验 其 工作 。 
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WUE oN Fe OAS A, MGA N+ BASE ICR ` ABU > & 
时 报告 等 实践 来 适应 不 断 变化 的 项 目 语 境 。 


测试 人 员 需 要 经 常 自 问 :“ 我 现在 可 以 测试 什么 ? 能 够 如 何 测试 ? ” 
测试 人 员 应 该 估算 自己 的 任务 ， 以 此 为 依据 拟定 计划 ， 然 后 做 出 承 
诡 。 


计数 和 计算 是 估算 的 基本 手段 ， 项 目 数据 是 它们 的 处 理 对 象 。 因 此 ， 
准确 估算 的 第 一 步 征 甩 善 地 收集 项 目 数据 。 


同时 估算 最 郑 情况 和 最 好 情况 是 常用 的 估算 技巧 。 而 定期 比较 估算 值 
和 实际 值 ， 分 析 不 准确 估算 的 原因 ， 也 有 助 于 提高 估算 能 力 。 


掌握 度量 方法 ， 需 要 了 解 它 的 意图 、 属 性 、 算 法 、 联 系 、 副 作用 。 
所 有 度量 方法 都 具有 局 限 性 ， 要 了 解 它 们 的 不 足 ， 并 避免 它们 的 负面 


影响。 
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“重视 ”一 件 事 应 该 体现 为 花 时 间 和 精力 把 它 做 好 。 


第 10 章 个 人 管理 


第 9 章 指出 测试 人 员 是 执行 经 理 ， 需 要 积极 地 管理 自己 的 时 间 和 工作 。 执 行 
经 理 同 时 也 是 专业 人 员 ， 应 该 坚持 专业 主义 ， 妃 求 精 江 的 技艺 和 理 越 的 工 
作 。 为 了 对 团队 和 自己 负责 ， 他 应 该 主动 实施 个 人 管理 ， 通 过 每 天 的 努力 
来 积极 推动 其 职业 发 展 。 


a a a ee i 

o 这 些 主题 与 个 人 特点 紧密 相关 ， 所 以 不 同 的 人 会 发 展 出 不 同 风格 的 方 
法 且 都 能 获得 很 好 的 效果 。 本 章 将 结合 我 的 实践 ， 介 绍 一 些 常 见 的 原则 
和 方法 ， 供 测试 人 员 参 考 。 


10.1 时 间 管 理 


FRAT ase HP, MULE BM BOR ESATA, BAS rae 
突 发 事件 打扰 。 为 了 应 对 这 些 挑战 ， 测 试 人 员 需 要 主动 管理 自己 的 时 间 ， 
因为 时 间 是 最 重要 的 项 目 资源 之 一 ， 它 深远 地 影响 了 测试 活动 的 目标 设 
定 、 策 上 略 选择 和 执行 方式 。 积 极 的 时 间 管 理 将 促成 更 好 的 测试 过 程 ， 提 部 
个 人 和 团队 的 绩效 。 


时 间 管 理 本 质 上 是 任务 管理 。 它 意味 着 为 一 组 任务 制订 计划 ， 然 后 积极 地 
行动 ， 使 重 肥 的 任务 可 以 在 期 记 的 时 间 内 完成 。 对 于 测试 人 员 而 言 ， 时 间 
管理 鲜 测 试 沪 理 的 一 部 分 ， 其 目的 十 在 项 目 期 限 内 完成 一 组 动态 变化 的 测 
试 任务 。 因 此 ， HOR ty 人 的 测试 计划 、 WIRE > BASE + BEE 
ase aa 萤 理 。 本 节 将 介绍 我 是 如 何 具 体 运 用 这 些 方法 


10.1.1 利用 任务 清单 记录 所 有 工作 项 


对 我 而 言 ， 时 间 管 理 的 第 一 步 是 维护 一 份 任务 清单 ， 用 它 记 录 并 追踪 本 周 
的 工作 项 。 这 份 清单 既是 时 间 管 理 信 息 的 “数据 库 ?， 存 储 了 所 有 的 工作 项 
信息 ， 同 时 也 是 一 份 工作 计划 ， 安排 了 任务 的 执行 | 顺序 。 这 样 做 的 主要 意 
图 是 专注 、 备 忘 、 计 划 和 追踪 。 


。 高 效 工作 的 第 一 步 是 保持 专注 。 这 和 意味 着 暂时 “二 ee 
Ke JIE SS BESS WC ° J3 T EK A 而 错过 完成 期 限 ， 我 需要 
把 等 办 事项 都 记录 下 来 。 这 让 我 更 放心 地 工作 ， 因 为 我 知道 它们 已 经 
被 受 普 保 存 ， 可 以 随时 查阅 。 此 外 ， 如 果 我 强迫 目 己 去 记忆 这 些 工作 


项 ， 难 免 要 在 头脑 中 反复 回顾 ， 这 无 形 中 破 环 了 专注 的 氛围 ， 既 分 散 
精力 ， 又 顾此失彼 。 


在 一 周 的 工作 中 ， 我 需要 完成 多 个 工作 项 ， 而 且 每 天 都 可 能 接 到 新 任 
务 。 为 了 做 到 “要 事 第 一 "， 我 需要 比较 这 些 工 作 项 的 轻重 ， 并 为 它们 
安排 恰当 的 时 间 和 资源 。 因 此 ， 我 需要 将 它们 记录 下 来 ， 以 随时 审视 
当前 的 工作 项 ， 动 态 地 安排 优先 级 ， 并 持续 追踪 完成 进度 。 


我 试 过 几 种 任务 清单 的 形式 。 一 开始 ， 我 将 工作 项 记录 在 一 张 A4 纸 上 ， 和 完 
成 一 项 束 将 它 划 挥 。 写 满 一 张 级 ， 束 换 一 张 日 纸 ， 并 将 未 做 完 的 工作 项 状 
BLE: BAER, (Sie BEL PRE, MFK, Be 
待 查 。 当 新 任务 出 现时 ， 我 只 需 在 纸 上 记 上 一 行 ， 束 可 以 继续 当前 工作 ， 
几乎 不 产生 中 断 开 销 。 


后 来 ， 我 听从 了 《时 间 管 理 一 -给 系统 管理 员 》 (Time Management for 
System Administrators) 一 书 的 建议 : 把 所 有 信息 集中 在 一 个 地 方 ， 以 便 随 
时 随地 访问 [Limoncelli05]。 于 是 ， 我 将 工作 项 记录 到 记事 本 中 。 记 事 本 的 
优点 是 可 以 随 吴 携 市 ， 有 任何 想法 都 可 以 及 时 记录 。 我 市 着 它 参 加 各 种 会 
议 ， 如 有 果 发 现 新 的 信息 和 任务 ， 我 会 记录 下 来 ， 并 在 会 后 将 新 任务 补充 到 
本 周 工作 列表 中 。 下 班 后 ， 如 采 我 对 第 二 天 的 工作 产生 了 新 想法 ， 我 会 六 
即将 它 写 入 记事 本 ， 从 而 避免 遗 起 。 


现在 ， 我 将 Microsoft OneNotel 作为 任务 清单 的 载体 ， 并 将 笔记 存放 在 
Office 3657 的 服务 妖 上 。 电 子 笔记 本 较 纸 质 笔 记 本 更 容易 修改 ， 没 有 做 写 
的 开销 。 而 且 ， 随 着 云 计算 的 发 展 ， 电 子 笔 记 本 能 够 存储 在 云端 ， 使 用 计 
算 机 和 智能 手机 都 可 以 访问 ， 同 样 具 有 随时 随地 读 写 的 能 力 。 我 依然 使 用 
记事 本 记录 日 常 工 作 中 发 现 的 信息 和 产生 的 想法 ， 但 是 会 将 工作 项 都 转移 
到 电子 笔记 本 中 ， 使 它们 在 一 个 地 方 被 存储 和 管理 。 


http://www.onenote.com ° 


2 http://www.office365.com ° 


图 10-1 是 我 的 工作 清单 样 例 ， 它 由 3 个 部 分 组 成 。 第 一 部 分 是 本 周 的 工作 项 
列表 。 在 使 用 电子 笔记 本 之 后 ， 我 会 为 较 复杂 的 工作 项 建立 单独 的 页 面 ， 
并 用 链接 连接 工作 项 和 页 面 。 该 页 面 是 对 应 任务 的 工作 每 ， 用 于 记录 测试 
过 程 的 各 种 信息 。 它 没有 固定 的 格式 ， 其 内 容 可 能 包含 被 测 构建 的 版 本 
号 、 构 建 位 置 、 参 考 资 料 链接 、 测 试 环境 配置 、 测 试想 法 、 检 查 列 表 、 测 
试 发 现 等 。 将 任务 清单 和 任务 页 面 放 在 同一 个 笔记 本 内 ， 让 我 在 测试 时 可 
以 快速 地 查阅 信息 ， 并 方便 地 记录 测试 笔记 。 


在 实际 工作 中 ， 任 务 页 面容 纳 了 测试 信息 、 测 斌 策略 和 测 斌 日志， 是 多 种 
测试 文档 的 综合 体 。 以 前 ， 我 习惯 用 纸 笔 来 记录 工作 项 和 测试 笔记 ， 但 十 
我 发 现 这 常 单 导致 信息 的 分 散 。 例 如 ， 测 斌 经 理发 送 电 子 邮 件 来 通知 新 任 
务 ， 我 将 该 任务 写 入 记事 本 。 在 测试 时 ， 我 经 党 要 参考 任务 邮件 ， 以 获得 
必要 的 测试 信息 。 这 强迫 我 在 记事 本 (测试 笔记 ) 和 邮件 (测试 信息 ) 之 
间 来 回 切换 ， 无 形 中 耗费 了 精力 。 现 在 ， 我 可 以 直接 将 邮件 内 容 粘贴 到 任 
务 页 面 中 ， 使 得 参考 信息 随时 可 用 。 而 且 ， 电 子 笔记 本 文 持 截 图 、 标 签 、 
列表 、 富 文本 等 对 象 ， 令 测试 笔 记 更 加 生动 。 在 茶 种 意义 上 ， 该 包 记 本 为 
专心 工作 提供 了 一 个 :工作 空间 ” 使 得 测试 活动 的 信息 输入 和 输出 无 需 在 
多 个 信息 源 间 切 换 。 此 外 ， 我 会 定期 存档 任务 页 面 今后 若 接 到 相似 的 任 
会 找 出 这 些 页 面 ， 以 获得 参考 资料 。 


任务 清单 的 第 二 部 分 是 本 周 日 程 表 ， 它 为 工作 项 安排 了 有 具体 的 工作 日 。 

要 求 我 佑 算 工作 项 的 时 间 ， 并 根据 优先 级 等 因素 安排 其 先后 顺序 。 我 将 性 
能 测试 安排 在 周一 ， 古 为 了 尽 主 近 供 性 能 测试 报 瑟 ， 让 程序 员 有 更 多 的 时 
间 去 调查 性 能 问题 。 集 成 测试 被 放 在 周二 和 周三 ， 是 因为 它 需 要 大 约 1.5 天 
的 工作 量 ， 而 且 我 希望 尽早 产生 业务 数据 供 其 他 测试 小 组 使 用 。 缺 陷 清 扫 
的 团队 活动 预定 在 周三 举行 ， 所 以 该 工作 项 只 能 置 于 周三 。 我 将 补丁 测试 
安排 在 周 四 和 周 五 ， 是 因为 没有 其 他 测试 活动 依赖 于 它 ， 只 要 在 本 周 完成 


BURY o 


日 程 安排 的 本 质 是 测试 计划 ， 即 拟定 恰当 的 方案 使 得 工作 项 (以 最 大 的 概 
率 ) 在 一 周 内 完成 ， 并 提供 符合 关系 人 期 望 的 成 果 。 通 过 日 程 安排 ， 我 可 
以 判断 本 周 能 否 完成 预定 的 任务 如 生 时 间 不 够 完成 所 有 工作 项 ， 我 会 标 
记 出 一 些 可 以 转移 到 下 周 的 任务 ， 将 它们 的 优先 级 降 到 最 低 (通常 安排 到 
周 四 、 周 五 ) 。 如 果 时 间 还 是 不 够 ， 我 会 和 测试 经 理 讨论 ， 共 同 想 出 一 个 
可 行 的 方案 。 有 关 个 人 计划 和 工作 量 估算 的 更 详细 讨论 请 参考 9.2 节 和 9.3 
Pe 


任务 清单 的 第 三 部 分 古今 日 工作 安排 ， 它 以 列表 的 方式 呈现 了 当天 的 具体 
工作 。 图 10-1 呈 现 了 周一 的 工作 安排 ,其 中 有 一 项 工作 是 “修订 本 周 计划 。 
这 是 因为 测试 小 组 周 会 有 时 会 分 配 一 些 新 的 测试 任务 ， 我 会 根据 会 议 内 容 
重新 调整 计划 。 
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图 10-1 任务 清单 


任务 清单 是 一 份 活动 的 工作 计划 ， 它 反应 了 我 对 当前 任务 的 安排 。 下 一 步 
我 要 做 的 是 根据 工作 进展 调整 任务 清单 ， 使 工作 计划 不 是 过 时 文案 ， 而 是 
反映 真实 情况 并 指引 方向 的 地 图 。 


10.1.2 ”坚持 周 计划 和 每 日 回顾 


由 图 10-1 所 示 的 任务 清单 不 难看 出 ， 我 在 实施 周 循环 所 要 求 的 周 计 划 。 所 谓 
周 循环 整 是 每 周 选 是 工作 项 ， 售 算 时 间 并 制定 方案 ， 然 后 尽 全 力 去 完成 任 
务 。 敏 捷 开 发 专家 Kent Beck 指 出 周 循环 是 极限 编程 的 基本 实践 之 一 ， 是 软 
件 人 员 开 始 敏 捷 旅 途 的 可 行 起 点 [Beck04]。 在 以 往 的 几 个 项 目 中 ， 我 都 实 
施 周 计划 ， 并 获得 了 不 错 的 效果 。 因 此 ，9.2 市 也 建议 测试 人 员 使 用 周 迭 代 
作为 个 人 测试 计划 的 基本 单元 ， 以 此 来 实现 测试 活动 的 动态 管理 。 


为 了 追踪 周 计划 的 实施 情况 ， 我 实施 每 日 回顾 。 在 下 班 前 ， 我 会 检查 当日 
工作 列表 (如 图 10-1 所 示 任 务 清单 的 第 三 部 分 ， 并 制定 隔 天 的 工作 列表 。 


其 主要 活动 如 下 。 


。 为 新 出 现 的 任务 安排 时 间 。 在 项 目 过 程 中 ， 我 经 常 接 到 一 些 计 划 外 的 
任务 ， 或 想到 一 些 值得 竹 试 的 测试 策略 。 我 会 将 这 些 工作 项 都 列 入 周 
计划 ， 然 后 在 每 日 回顾 中 调整 日 程 安排 (如 图 10-1 所 示 任 务 清单 的 第 二 
部 分 ) ， 为 它们 分 配 工作 日 。 


将 当日 未 完成 的 工作 项 移 到 第 二 天 。 有 了 时， 一些 任务 的 用 时 超出 了 舍 
算 ， 令 一 些 工 作 项 不 得 不 延 后 。 每 日 回顾 帮助 我 了 解 工 作 的 真实 进 
展 ， 避 人 免 “埋头 藻 干 ” 却 坪 记 了 实际 进度 。 在 工作 项 移动 的 过 程 中 ， 我 
会 特别 关注 高 优 移 级 任务 ， 评 佑 它们 不 能 完成 的 风险 。 如 采 某 项 本 周 
必须 完成 的 工作 很 可 能 要 延期 ， 我 将 与 测试 经 理 讨 论 相 关 的 解决 方 


案 。 


为 第 二 天 安排 具体 的 活动 。 这 类 似 于 “微型 计划 ”， 将 工作 项 分 解 为 一 
系列 小 的 活动 ， 并 确定 相应 目标 。 这 些 具体 的 活动 和 目标 将 指引 我 一 
步 步 去 完成 工作 项 。 在 获得 具体 的 工作 安排 后 ， 我 会 安心 回 家 ， 因 为 
我 知道 第 二 天 的 工作 已 经 “ 尽 在 掌握 ”。 


周一 是 特殊 的 一 天 ， 它 的 工作 列表 是 根据 本 周 计划 所 制订 的 。 周 一 上 班 
后 ， 我 会 拟订 一 份 周 计划 ， 其 依据 是 上 周 的 工作 情况 和 当前 项 目 进 度 。 然 
后 ， 我 参加 测试 小 组 周 会 ， 收 集 更 多 的 项 目 信 息 。 会 后 ， 我 根据 新 信息 调 
整 周 计划 ， 并 确定 周一 的 工作 列表 。 对 我 而 言 ， 周 一 上 午 是 制订 周 计 划 的 
时 间 ， 而 周一 的 工作 列表 是 周 计划 的 一 部 分 。 


每 日 回顾 将 周 循环 和 日 循环 连接 在 一 起 ， 使 任务 清单 (工作 计划 ) 总 是 反 
应 最 新 的 工作 进展 。 及 时 的 调整 不 但 帮助 我 更 灵活 地 分 配 工作 时 间 ， 也 增 
强 了 我 完成 任务 的 信心 ， 降 低 了 “最 后 期 限 ” 带 来 的 压力 。 


10.13 ”专注 是 高 效 工作 的 前 提 


对 于 完成 任务 而 言 ， 计 划 只 是 第 一 步 ， 更 重要 的 是 有 效 的 执行 。 执行 任 务 
往往 会 依赖 于 外 部 资源 和 内 部 动力 。 从 时 间 管 理 的 角度 看 ， 专 注 的 工作 可 
能 是 最 重要 的 内 部 动力 。 


许多 时 间 管 理 方 法 建议 工作 者 分 配 一 段 时 间 ， 在 其 中 排除 和 干扰， 专心 致 志 
地 完成 一 件 任务 。 例 如 ，Jonthan Bach 和 James Bach 提 出 了 基于 测 程 的 测试 
管理 ， 建 议 用 一 个 时 间 盒 (时 长 为 60~120 分 钟 ) 测试 一 个 主题 [Bach00al] 

[Bach04a]。 软 件 专家 Staffan Noteberg 在 介绍 番茄 工作 法 时 ， 建 议程 序 员 将 
工作 分 解 为 一 系列 番 荔 钟 [Noteberg10]。 一 个 番茄 钟 是 一 个 时 间 盒 (通常 是 
25 分 钟 ) ， 用 于 完成 一 个 明确 的 任务 。 如 果 任 务 没 有 完成 ， 就 再 分 配 一 个 


番茄 钟 。 知 名 博客 作家 Leo Babauta 也 强调 聚焦 一 个 目标 的 单 任务 模式 
[Babauta09]。 他 的 工作 方式 是 每 天 早上 做 的 第 一 件 事 是 全 天 最 重要 的 事 
情 。 在 做 完 之 前 ， 绝 不 碰 其 他 事情 。 做 完 之 后 ， 他 会 稍 作 体 已， 然后 做 下 
一 件 重 要 的 事情 。 还 有 一 些 类 似 的 方法 ， 其 核心 都 是 划 出 一 段 时 间 做 一 件 
事情 ， 在 “与 世 隔 绝 ” 的 状态 中 ， 尽 全 力 工作 。 


在 日 和 工作 中 ， 我 会 从 当天 的 工作 安排 中 选择 一 个 任务 ， 根 据 其 内 容 分 配 
一 段 时 间 ， 然 后 在 该 时 间 盒 内 一 心 一 意 地 工作 。 对 于 小 型 测试 任务 ， 时 间 
盒 一 般 是 15~30 分 钟 。 对 于 大 型 测试 任务 ， 时 间 盒 一 般 是 60 分 钟 。 如 条 60 分 
钟 不 能 完成 任务 ， 我 会 稍 作 休息 ， 然 后 分 配 一 个 30~60 分 钟 的 时 间 盒 ， 以 继 
续 工 作 。 我 曾经 连续 3 个 小 时 持续 编码 ， 不 作 任 何 休息 (其 实 3 个 小 时 是 保 
守 估 计 ， 因 为 我 过 于 投入 ， 已 经 忘记 任务 何 时 开始 和 结束 ) ， 也 获得 了 很 
好 的 工作 成 末 。 但 是 ， 我 觉得 长 时 间 连 续 工 作 并 不 适用 于 大 多 数 测试 与 开 
发 任务 。 通 常 ， 持 续 工作 超过 60 分 钟 就 会 导致 注意 力 分 散 和 效率 下 降 。 此 
时 ， 应 该 离开 办 公 梨 ， 喝 一 点 水 ， 走 动 一 图 ， 让 头脑 和 身体 都 得 到 放松 。 
张 凶 有 度 才能 在 工作 时 集中 精力 。 


除了 拥有 专属 时 间 ， 专 注 工 作 还 需要 避免 干扰 。 当 我 打算 专心 工作 时 ， 我 
会 关闭 邮件 客户 端 、 即 时 通信 软件 和 其 他 无 关 软 件 ， 以 避免 分 散 精力 在 电 
于 邮件 、 即 时 消 恩 、 网 络 冲 沪 上 。 有 些 工作 信息 来 目 电子 邮件 ， 我 会 将 此 
类 信息 都 复制 到 电子 笔记 本 中 。 在 工作 时 ， 我 只 参考 电子 笔记 本 ， 并 始终 
关闭 邮件 客户 逆 ， 这 样 束 不 会 被 新 邮件 所 打扰 。 基 本 思路 是 只 开局 必要 的 
软件 ， 构 建 一 个 “ 目 给 目 足 ”的 工作 空间 ， 以 抵御 其 他 活动 的 诱惑 。 


一 些 测试 人 员 觉 得 不 能 关闭 邮件 客户 端 和 即时 通信 软件 ， 这 样 会 导致 他 们 
不 能 立即 响应 紧急 情况 。 对 于 某 些 项 目的 特定 角色 而 言 ， 确 实 如 此 ， 立 即 
响应 特定 事件 是 他 们 的 职责 。 但 是 ， 对 于 大 多 数 项 目 ， 测 斌 人员“ 离线 ” 几 
个 小 时 ， 并 不 会 导致 项 目 灾难 。 相 反 ， 专 注 工作 能 更 快 地 提供 更 好 的 工作 
成 有 果 ， 反 而 有 利于 项 目 快速 推进 。 


另 一 个 提高 工作 效率 的 小 技巧 是 充分 利用 多 显示 器 。 编 程 和 测试 都 是 高 强 
度 的 知识 处 理 活动 ， 人 脑 需要 摄 入 、 处 理 、 产 出 大 量 的 信息 。 这 些 信息 源 
自 和 流向 不 同 的 信息 仓库 ， 它 们 在 计算 机 屏幕 上 体现 为 一 组 分 离 的 窗口 。 
为 了 让 信息 传 速 更 加 流畅 ， 测 武人 员 应 该 降低 信息 流转 的 阻力 ， 即 降低 窗 
口 切 换 的 开销 。 


图 10-2 古 我 的 工作 环境 ， 由 3 台 显 示 絮 组 成 。 在 编程 时 ， 左 侧 的 显示 器 承载 
了 编程 接口 的 帮助 文档 ， 中 间 的 显示 融 展 示 了 代码 编辑 窗口 ， 右 侧 的 显示 
妖 则 提供 额外 的 代码 窗口 和 命令 行 。 在 测试 时 ， 左 侧 的 显示 此 呈 现 电 子 笔 
记 本 ， 以 展示 测试 想法 并 记录 测试 笔记 ， 中 间 的 显示 帮 安 放 被 测 产 品 的 窗 
口 ， 以 文 持 测试 执行 ， 右 侧 的 显示 右 拥 有 一 组 调试 和 诊断 工具 ， 以 监控 被 
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图 10-2 利用 多 显示 器 来 提高 工作 效率 


除了 测试 人 员 的 个 人 努力 ， 测 试 小 组 也 可 以 有 意识 地 创造 安静 时 
间 *[Ford08]， 以 提高 团队 效率 。 我 的 项 目 团队 有 一 条 会 议 规则 ， 所 有 的 例 
行 会 议 都 应 该 安排 在 周一 到 周 四 的 上 午 。 这 样 ， 所 有 的 团队 成 员 (项 目 领 
导 、 产 品 经 理 、 程 序 员 、 测 试 人 员 ) 都 拥有 无 会 议 的 周一 至 周 四 的 下 午 和 
周 五 全 天 。 虽 然 有 些 临 时 性 的 会 议 难免 被 安排 在 下 午 和 周 五 ， 但 是 程序 员 
和 测试 人 员 都 拥有 大 块 时 间 可 以 自由 分 配 (产品 经 理 出 于 工作 需要 ， 会 组 
织 和 参加 许多 会 议 ) 。 这 样 可 以 降低 任务 中 断 的 概率 ， 帮 助 团队 成 员 更 自 
由 地 使 用 时 间 。 可见 ， 追 求 高 效 的 团队 应 该 主动 安排 团队 时 间 ， 让 个 人 能 
注 地 工作 。 


10.1.4 恰到好处 的 文档 化 和 目 动 化 
关于 节省 时 间 ， 我 有 两 点 经 验 。 


第 一 ， 犯 错 会 浪费 时 间 ， 认 真 把 事情 做 对 能 节省 时 间 。 有 时 ， 我 为 了 赶 上 
进度 会 匆忙 工作 ， 然 而 仓促 的 过 程 往往 导致 一 些 错误 。 为 了 修正 错误 ， 我 
不 得 不 花费 大 量 时 间 进 行 故障 诊断 和 返工 ， 这 是 一 些 任务 超时 的 根本 原 

因 。 经 过 几 次 教训 ， 我 渐渐 领悟 到 “ 欲 速 则 不 达 * 的 道理 。 唯 有 高 质量 的 工 
作 才能 获得 稳定 的 速度 ， 才 能 在 进度 压力 下 完成 紧迫 的 任务 ， 任 何以 降低 
质量 为 代价 的 “捷径 "都 会 导致 失败 。 


第 二 ， 参 考 成 功 的 解决 方案 有 助 于 把 事情 做 对 ， 从 而 市 省 时 间 。 如 果 某 个 
方法 经 过 实践 考验 ， 能 够 有 效 解决 某 个 问题 ， 那 么 复 用 或 模仿 它 很 可 能 
次 成 功 。 然 而 ， 人 的 记忆 力 是 不 可 靠 的 ， 单 损 模 糊 的 记忆 去 操作 很 可 能 导 
致 错误 ， 进 而 痕 费 时 间 在 故障 调查 和 问题 修复 上 。 为 了 保存 一 些 重要 的 信 


息 ， 我 会 将 它们 写 入 个 人 的 电子 笔记 本 或 测试 小 组 的 知识 库 (其 载体 也 是 
电子 笔记 本 ) 。 通 常 ， 我 用 个 人 笔记 本 保存 一 些 私 人 的 想法 ， 将 分 享 给 整 
个 小 组 的 信息 写 入 知识 库 。 


在 多 数 情 况 下 ， 我 不 会 预先 编制 大 量 的 文档 ， 而 十 根 据 当前 任务 做 必要 的 
文案 。 即 便 是 记录 一 些 通用 的 知识 ， 结 合 具 体 任务 来 陈述 能 获得 更 好 的 效 
条 。 以 下 是 一 些 稼 见 的 文档 编写 时 机 。 


一 边 测试 ， 一 边 记录 。 一 般 ， 我 会 在 测试 之 前 列 出 一 批 初始 的 测试 想 
法 ， 从 大 方向 上 思考 测试 类 型 和 测试 策略 。 在 实际 测试 中 ， 测 试 反 馈 
会 提供 丰富 的 信息 ， 能 激发 出 许多 测试 想法 ， 有 些 想 法 并 不 奏效 ， 有 
些 想 法 却 极 具 威力 。 我 会 记录 那些 能 够 提高 测试 覆盖 、 对 缺陷 有 较 强 
今 济 能 力 的 想法 ， 为 今后 的 测试 提供 支持 。 


在 发 现 错误 时 ， 记 录 正 确 的 做 法 。 这 里 的 错误 不 是 软件 缺陷 ， 而 是 我 

所 犯 下 的 差错 。 软 件 测试 是 非常 复杂 的 技术 调查 ， 我 滑 常 犯 下 钳 误 ， 

导致 缺陷 遗漏 、 进 度 延 长 、 时 间 浪 费 。 为 了 避免 我 目 己 和 同事 再 犯 相 

0 
时 间 。 


当 解 除 疑惑 时 ， 记 录 管 案 。 在 工作 中 ， 我 经 常 遇 到 一 些 产 品 疑问 和 技 
术 难 题 ， 有 时 我 会 独立 调查 ， 有 时 我 会 寻求 同事 的 帮助 。 相 似 的 ， 同 
事 们 也 会 向 我 咨询 一 些 我 了 解 的 问题 。 在 获得 或 提供 答案 之 后 ， 我 会 
考虑 该 答案 是 否 值得 记录 以 备 复 用 。 如 果 更 多 的 人 也 会 遇 到 该 问题 ， 
7 E EA 
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在 集体 测试 活动 之 前 ， 编 写 测试 指南 。 一 些 测试 活动 需要 测试 小 组 成 
员 相 互 协作 才能 完成 ， 为 此 活动 负责 人 应 该 提供 必要 的 测试 信息 ， 分 
享 给 小 组 。 以 缺陷 清扫 (参见 9.5.2 节 ) 为 例 ， 测 试 负 责 人 会 要 求 各 模 
块 负 贡 人 提交 简短 的 测试 说 明 ， 以 陈述 各 模块 有 哪些 潜在 风险 、 用 户 
情景 、 测 试 重点 和 已 知 问题 。 之 后 ， 他 将 汇总 后 的 结 采 发 布 给 测试 小 
组 ， 帮 助 他 们 更 好 地 理解 测试 任务 。 


在 我 看 来 ， 文 档 工作 的 秘诀 是 “恰到好处 ”， 最 忌讳 “以 辞 害 意 ”。 也 就 是 说 ， 
应 该 用 人 简洁 的 语言 、 恰 当 的 形式 记录 最 核心 的 内 容 ， 以 求 写 得 轻快 、 读 得 
方便 。 反 之 ， 生 搬 硬 套 模板 ， 言 目 追 求 形 式 ， 只 会 让 作者 和 读者 受挫 。 以 
下 是 一 些 文 档 编写 的 小 技巧 。 


。 用 操作 文档 (参见 3.2.10 节 ) 来 呈现 如 何 完 成 一 个 复杂 的 任务 。 该 文档 
由 一 系列 步骤 组 成 ， 每 个 步骤 用 文字 描述 、 代 码 族 段 、 数 据 文件 、 屏 


幕 截图 等 形式 讲述 特定 操作 。 其 核心 价值 在 于 舍弃 了 所 有 修饰 ， 针 对 
a ei a 
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用 测试 想法 列表 (2 W3.2.87) 或 检查 列表 (03.2117) 来 记录 测 
斌 策略。 在 本 质 上 ， 测 试 策略 是 一 组 指导 测试 设计 的 想法 ， 因 此 列表 
能 够 目 然 地 呈现 测试 策略 的 多 样 性 和 可 延伸 性 。 对 于 测试 人 员 而 言 ， 
列表 能 快速 传达 有 益 的 测试 提示 ， 又 不 会 约束 他 的 目 由 发 挥 。 而且 ， 
其 简洁 、 开 放 的 形式 能 避 励 他 用 很 小 的 代价 增加 更 多 的 测试 想法 。 经 
a 0 


使 用 代码 片段 、 屏 幕 截图 、 视 频 邓 像 、 超 级 链接 等 元 末 人 简化 文档 编 
写 。 软 件 测 试 是 一 项 技术 性 很 强 的 工作 ， 涉 及 许多 细节 ， 有 些 内 容 很 
难 用 文字 清晰 地 摘 述 。 对 此 ， 我 选择 直接 记录 必要 的 细节 。 如 条 是 阐 
述 代码 设计 ， 我 会 考虑 提供 核心 代码 的 片段 ， 并 高 亮 出 关键 语句 。 如 
果 是 讲解 操作 细 市 ， 我 会 考虑 提供 屏幕 截图 ， 并 人 勾勒 出 重点 内 容 。 如 
条 是 讲解 一 个 软件 的 用 法 ， 我 会 考虑 孙 制 一 个 10 分 钟 的 操作 录像 ， 以 
讲解 常用 操作 。 如 果 所 讲述 的 概念 比较 复杂 ， 我 会 给 出 参考 文献 的 超 
级 链接 ， 让 读者 获得 更 多 资料 。 图 10-3 是 我 在 2011 年 利用 业余 时 间 测 试 
必 应 词典 果 面 版 的 笔记 3 。 它 既是 一 份 测试 日 志 ， 也 十 一 份 常用 调试 工 
具 的 演示 教程 。 在 图 10-3 中 ， 屏 幕 截 图 展示 了 技术 细 方 ， 图 片上 的 标记 
勾勒 出 重点 ， 超 级 链接 指向 更 详细 的 信息 ， 文 字 劳 边 的 问号 点 出 重要 
情况 ， 高 腕 文字 标识 出 我 想 强 调 的 内 容 。 可 见 ， 有 效 地 利用 富 媒 体 的 
ee ee eae 
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3 在 线 地 址 : https://skydrive.live.com/view.aspx/Public/exploratory/_testing? 
| cid=da204d6ee69a08b2&id=documents ° 


了 解 被 测试 进程 的 基本 情况 
= 30.812 K 必 应 词典 


30,632 K 


。 操作 
o 打开 Process Explorer , 找到 BingDictexe。 
。 观察 
o BingDict 一 个 32 位 程序 . 
© Process Explorer 用 黄色 旦 示 .NET 程 序 ， 因 此 BingDict 是 .NET 程 序 . 
o BingDict 有 子 进 程 WordCapture。 从 名 字 上 看 ,WordCapture 负 责 屏幕 取 词 。 
o 为 什么 有 两 个 WordCapture ? 是 Bug 吗 ? 


\Program Files (x86)\\Microsoft Dictionary 
\Program Files &86)\Wicrosoft Bing Dicti 


jonary \Data \Eng dat 
C:\Program Files (x86)\Microsoft Bing Dictionary\Data\Chs.dat <> 
C:\Program Files &«86)\WMicrosoft Bing Dictionary 
BingDict exe(9016): 8948 


。 探索 : 了 解 BingDicthn 载 的 楼 块 ， 


Process Explore 中 ， 选择 BingDict , 按 下 "Ctrl+H”, 查看 BingDict 的 句柄 信息 。 


o BingDict 打 开 了 安装 目录 下 的 : Engkoo.Ehc.ULControls.dil , Engkoo.Ehc.Core.dll ,从 名 字 看 它们 是 
Ù (core). 
o BingDict 打 开 了 Data 目 录 下 的 Eng.dat 和 Chs.dat , 从 名 字 看 它们 很 可 能 是 字典 的 数据 文件 。 


图 10-3 ”用 屏幕 截图 来 简化 编写 并 丰富 文档 


自动 化 代码 是 一 种 特殊 的 技术 文档 ， 用 计算 机 可 理解 的 方式 表达 了 解决 方 

法 。 其 优势 不 仅 在 于 目 动 执行 能 够 让 省 人 力 ， 还 在 于 代码 是 明确 、 具 体 、 

无 上 收 义 的 揪 述 ， 能 够 精确 地 传递 知识 。 代 码 编 写 首 以 外 的 人 在 理解 这 些 知 

nee FY DA Ac FR HE BE TT RTT, BCE EW eH Re Hh HB 
领域 。 


测试 人 员 没 有 时 间 把 所 有 任务 都 目 动 化 ， 而 且 也 不 是 所 有 的 事情 都 适合 上 自 
动 化 。Thomas A. Limoncelli 将 系统 管理 员 需 要 应 对 的 问题 分 成 4 类 ， 并 给 出 
了 相应 的 自动 化 见解 [Limoncelli05]。 我 认为 他 的 观点 也 适用 于 产品 安装 、 
补丁 安 疼 、 测 试 环境 配置 、 测 试 环境 更 新 、 数 据 准备 、 产 品 操控 、 结 果 分 
析 等 测试 任务 。 


。 只 做 一 次 的 简单 事情 。 此 类 任务 通常 无 需 自动 化 ， 因 为 编写 并 调试 代 
码 会 花费 更 多 的 时 间 。 不 过 ， 如 果 有 至 内 的 时 间 且 目 动 化 开销 不 大 ， 
我 还 是 会 编写 目 动 化 代码 。 一 方面 ， 这 是 一 种 刻意 的 练习 ， 让 我 复习 
编程 接口 和 程序 语言 。 男 一 方面 ， 有 时 很 难 确保 该 任务 “只 此 一 次 ”， 
轻便 的 目 动 化 开销 不 大 ， 并 市 省 了 未 来 的 时 间 。 以 我 的 经 验 ， 完 成 核 
心 步骤 的 代码 拥有 较 高 的 复 用 率 。 


。 只 做 一 次 的 困难 事情 。 我 会 将 该 任务 分 解 为 一 些小 任务 ， 自 动 化 每 个 
小 任务 ， 再 将 它们 串联 起 来 ， 获 得 完整 的 目 动 化 方案 。 有 时 ， 某 个 小 
任务 不 适合 目 动 化 ， 我 会 混合 手工 操作 和 上 自动 化 执行 来 完成 整个 任 
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常 做 的 简单 事情 。 此 类 任务 最 适合 上 自动化， 而 且 目 动 化 的 投入 很 快 就 
能 获得 回报 。6.3.2 节 介绍 了 相关 案例 ， 其 特征 都 是 编写 短小 的 代码 ， 

以 快速 完成 软件 控制 、 环 境 配 置 、 数 据 分 析 等 任务 。 有 些 手 工 执行 只 
需 十 儿 秒 的 操作 序列 ， 只 要 是 机 械 的 、 重 复 的 就 值得 自动 化 。 代 码 清 
单 10-1 展 示 了 一 段 AutoHotKey 脚 本 ， 它 监听 到 快捷 键 Win+F2 后 ， 会 发 
送 键 盘 命 令 Ctrl+C， 将 当前 选中 的 文字 复制 到 剪贴 板 ， 然 后 在 两 个 搜索 
引擎 上奏 询 剪贴 板 内 容 。 这 上 段 脚本 每 次 只 能 节省 几 秒 的 时 间 ， 但 是 它 
让 我 摆脱 了 机 械 操作 〈 复 制 文 字 、 局 动 浏览 器 、 输 入 网 址 、 粘 贴 文字 
eas `、 输入 第 二 个 网 址 、 再 粘贴 文字 并 搜索 ) ， 将 精力 专注 在 核心 

务 上 。 


常 做 的 困难 事情 。 此 类 任务 往往 具有 复杂 的 流程 ， 需 要 处 理 多 种 可 能 
情况 。 对 此 ， 我 会 与 测试 经 理 协商 ， 安 排 一 段 专用 时 间 来 完成 目 动 
化 。 解 决 方案 通 前 是 基于 现 有 软件 系统 做 二 次 开发 ， 便 之 可 以 处 理 新 
的 流程 。 如 果 项 目 进度 不 允许 花费 大 量 时 间 用 于 自动 化 ， 我 会 编写 操 
作文 档 或 检查 列表 ， 帮 助手 工 及 半 目 动 操 作 顺 利 完 成 。 


代码 清单 10-1 ”调用 多 个 搜索 引 警 的 AutoHotKey 代 码 


#F2:: ; 快捷 键 是 Win+F2 
Send Ac ;发送 Ctrl+C 
Run http://www.bing.com/search?q=%clipboard% ; 在 必 应 上 搜索 剪贴 
内 容 


Run http://www. google.com/search?q=%c lipboard% ; 在 谷歌 上 搜索 剪贴 
内 容 
return ， 命令 结 


通常 ， 我 会 用 DOS Shell、PowerShell、IronPython、AnutoHotKey 等 脚本 语言 
来 完成 小 型 自动 化 ， 用 C# 和 SQL 来 构建 较 复 杂 的 目 动 化 方案 。 我 的 感受 
是 ， 目 动 化 代码 积 素 得 越 多 ， 测 试 效率 就 越 高 。 一 方面 ， 持 续 地 编写 代码 
令 我 更 熟悉 程序 语言 和 编程 接口 ， 能 够 更 快 地 开发 新 代码 。 另 一 方面 ， 已 
有 代码 是 很 好 的 知识 库 ， 通 过 代码 复 用 和 人 简单 改写 ， 我 可 以 立即 解决 当前 


环境 的 常见 问题 。 在 某 种 意义 上 ， 有 价值 的 代码 是 “ 活 的 ”代码 ， 它 会 被 复 
用 ， 并 在 复 用 过 程 中 被 不 断 增强 ， 从 而 发 展 出 灵活 的 结构 和 强大 的 能 


10.2 ”持续 学 习 


软件 行业 总 在 高 速 发 展 中 ， 测 试 人 员 为 了 胜任 工作 和 推动 职业 发 展 ， 必 须 
持续 地 学 习 。 所 谓 学 习 是 “求学 ”( 获 取 知识 ) 和 “练习 ”( 应 用 知识 ) 的 组 
合 ， 是 吸纳 、 实 践 、 反 思 的 循环 过 程 。 也 就 是 说 ， 学 习 并 非 单 纯 地 摄取 知 
识 ， 还 需要 积极 地 实践 ， 通 过 反馈 和 反思 来 巩固 学 习 成 果 。 基 本 上 ， 来 自 
实践 的 知识 只 有 在 实践 之 后 才能 真正 掌握 。 


10.2.1 在 工作 中 学 习 


为 了 高 效 地 完成 测试 任务 ， 测 试 人 员 需 学 习 许多 内 容 ， 包 括 领 域 知 识 、 用 
户 情景 、 测 斌 技术、 计算 平台 、 开 发 技术 、 软 件 项 目 、 项 目 团队 等 。 面 对 
如 此 多 的 内 容 ， 一 条 值得 参考 的 指导 原则 是 ， 确 定 项 目 团队 或 所 在 领域 最 
需要 的 技能 ， 然 后 努力 掌握 它们 [Kaner01]。 对 于 此 类 知识 ， 通 过 实际 工作 
来 掌握 是 一 种 比较 好 的 学 习 方法 。 这 样 做 可 以 加 速 获取 知识 与 应 用 知识 的 
循环 ， 并 让 学 习 成 采 立 即 帮助 测 斌 过程。 成功 的 应 用 能 够 增强 测试 人 员 的 
信心 ， 喜 舞 他 更 深入 地 研究 。 


实际 上 ， 本 书 的 大 部 分 内 容 都 在 讨论 如 何 学 习 产 品 和 项 目 。 第 2 章 到 第 5 章 
讨论 了 使 用 多 种 测试 方法 实施 技术 调查 ， 第 7 章 介 绍 了 产品 研究 ， 第 8 章 探 
讨 了 项 目 人 研究。 在 此 ， 本 下 只 简单 地 介绍 当 我 接手 一 个 功能 时 ， 会 做 哪些 
初步 的 学 习 。 


。 首先 ， 我 会 实施 积极 阅读 (7.3.2 节 ) ， 评 审 该 功能 的 移交 文档 (3.2.14 
1) ， 以 掌握 该 功能 的 基本 情况 ， 包 括 需求 与 功能 、 质 量 标准 、 基 
测试 想法 、 现 有 目 动 化 测试 、 可 用 测试 数据 、 已 知 缺陷 、 漠 在 风险 
等 。 然 后 ， 我 与 原 测 试 负责 人 讨论 这 些 内 容 ， 了 解 他 测试 该 功能 的 经 
验 与 技巧 ， 并 请 教 在 文档 阅读 过 程 中 产生 的 疑惑 。 


除了 团队 内 部 文档 ， 我 还 会 参考 外 部 资料 。 例 如 ， 在 测试 Web 应 用 时 , 

会 在 网 络 上 搜索 Web 开 发 和 测试 的 资料 ， 了 解 基本 编程 技术 、 和 常用 测 
试 策略 、 暴 型 缺 隐 和 可 用 工具 ， 并 评估 在 当前 项 目 中 如 何 运 用 这 些 信 
已 。 又 例如 ， 在 测试 Microsoft Office 产 品 时 ， 我 会 收集 一 些 专 著 和 网 络 
文献 ， 阅 读 相关 内 容 。 经 过 多 年 的 使 用 和 研究， 很 多 熟练 用 户 已 经 成 
长 为 Office 专 家 ， 他 们 撰写 了 大 量 的 书籍 和 资料 。 赔 读 这 些 文献 可 以 了 
解 用 户 最 常 使用、 专家 最 常 推荐 的 使 用 情景 ， 并 发 掘 出 许多 内 部 文档 
没有 记录 的 细 广 。 


。 更 重要 的 是 ， 我 会 通过 漫游 测试 (5.4.4 节 ) 和 快速 测试 (5.577) 来 实 
际 操作 软件 ， 建 立 或 完善 该 功能 的 一 批 测试 模型 (4.2 节 ) 。 常 见 的 测 
斌 结果 是 功能 列表 (3.2.4 节 ) 、 测 试想 法 列表 (3.2.8 节 ) 、 输 入 与 输 
出 模型 (4.2.2 节 ) 、 系 统 生 态 图 (4.2.3 节 ) 和 更 新 了 的 移交 文档 等 。 


随 着 测试 的 发 展 ， 我 会 进一步 研究 产品 和 项 目 元 素 ， 并 笑 试 更 多 的 测试 方 
法 。 可 见 ， 在 测试 过 程 中 ， 测 试 人 员 不 但 能 学 到 许多 与 产品 相关 的 知识 ， 
还 可 以 循序 渐进 地 学 习 行 业 知识 、 开 发 技术 、 测 斌 方法、 测试 模型 等 内 

容 。 只 要 他 保持 学 习 的 积极 性 ， 勇 于 进入 新 领域 并 尝试 新 技术 ， 测 试 工作 
束 能 帮助 他 持续 地 成 长 。 


10.2.2 ”持续 阅读 


除了 在 工作 中 学 习 ， 测 试 人 员 还 需要 超出 公司 业务 和 软件 测试 ， 拓 展 自己 
的 职业 发 展 [Kaner01]。 专 业 的 测试 人 员 不 但 为 公司 工作 ， 还 应 对 目 己 负 
责 ， 学 习 各 种 知识 来 提升 自身 的 能 力 。 对 于 我 而 言 ， 这 意味 着 阅读 大 量 的 
书籍 。 在 博客 上 ， 我 提供 了 一 份 阅 读 清单 ， 列 出 了 40 多 本 我 读 过 的 测试 书 
籍 。 实 际 上 ， 我 的 阅读 量 远 不 止 这 些 。 图 10-4 展 示 了 我 读 过 的 一 些 软件 开发 
书籍 ， 左 上 角 是 我 曾经 的 办 公 室 藏书 ， 右 下 角 是 目前 的 家 庭 藏书 。 书 籍 内 
容 涉及 开发 技术 、 测 试 技术 、 开 发 方法 论 、 软 件 工具 、 行 业 故 事 等 ， 既 有 
经 典 名 着 ， 勾 有 了 时效 性 较 强 的 工具 书 。 
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图 10-4 我 读 过 的 软件 开发 书籍 (局部) 


对 于 比较 重要 的 书 ， 我 会 一 边 阅 读 一 边 做 笔记 。 图 10-5 展 示 了 我 对 《完美 软 
件 一 一 对 软件 测试 的 各 种 幻想 》[Weinberg09] 做 的 笔记 ， 包 括 用 即时 贴 标 记 
重点 页 面 ， 用 馈 笔 色 勒 重点 文字 、 进 行 批注 和 绘制 草图 。 在 我 看 来 ， 笔 记 
的 形式 和 内 容 并 不 重要 ， 关 键 是 做 笔记 可 以 让 我 读 得 更 慢 一 些 ， 并 随时 记 
录 阅 读 感 想 。 这 将 自己 的 知识 和 经 验 带 入 阅读 ， 让 我 与 书 的 作者 进行 虚 
拟 “ 对 话 ”， 使 阅读 不 是 单纯 的 摄取 ， 还 伴随 着 反思 。 


对 于 一 些 工 具 书 ， 我 一 般 不 会 全 部 读 完 ， 只 是 放 在 案头 备查 。 例 如 ， 虽 然 
我 经 常 参 考 《SQL Server 2005 范 例 代 码 查 询 辞 典 》5 ， 但 是 从 没有 完整 地 读 
过 一 遍 。 如 果 我 发 现 某 些 内 容 在 工作 中 被 反复 参考 ， 我 会 阅读 它们 所 在 的 
一 章 ， 以 了 解 该 子 领域 。 通 常 ， 我 不 会 阅读 与 实际 任务 无 关 的 章节 ， 毕 竟 
在 时 间 有 限 的 情况 下 ， 应 该 将 精力 集中 在 有 帮助 的 内 容 上 。 无 重点 的 阅读 
降低 了 学 习 效 率 ， 也 使 得 需要 认真 研究 的 内 容 没 有 获得 足够 的 资源 。 
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阅读 需要 大 量 的 时 间 ， 然 而 忙碌 的 工作 常常 会 大 幅 压 缩 空 亲 时间。 对 此 ， 
我 采用 两 个 办 法 来 坚持 阅读 。 第 一 ， 对 于 重要 的 书 ， 我 会 安排 一 个 固定 的 
时 段 ， 每 天 读 一 个 小 时 。 一 个 小 时 并 不 是 严格 的 约束 ， 空 闲 时 间 充 容 融 多 
读 一 会 儿 ， 空 采 时 间 紧 张 攀 少 读 一 会 儿 。 关 键 在 于 每 天 不 间断 地 阅读 ， 经 
过 一 段 时 间 的 积 素 ， 目 然 能 够 获得 长 足 的 进展 。 第 二 ， 我 会 利用 旅途 、 等 
符 、 工 作 间隙 等 碎片 时 间 来 阅读 。 例 如 ， 我 曾经 坐 地 铁 上 班 ， 往 返 需 要 一 
个 多 小 时 。 于 是 ， 我 将 这 一 个 小 时 视 为 额外 的 阅读 时 间 ， 总 是 携 市 一 本 书 
在 地 铁 上 浏览 。 这 样 每 日 积累 ， 一 个 月 可 以 多 读 一 两 本 书 。 
当然 7， 在 不 考虑 由 于 不 看 车 窗外 而 发 生 交通 事故 的 情况 下 ， 安 全 
NOWRA i cede EC BT fa). ETa 


图 10-5 我 对 《完美 软件 一 一 对 软件 测试 的 各 种 幻想 》 所 做 的 笔记 


除了 书籍 ， 我 还 会 经 第 阅读 技术 博客 和 杂志 文章 。 我 的 切身 体会 是 大 量 阅 
读 能 够 拓展 知识 面 ， 并 逐渐 建立 自己 的 知识 体系 。 当 接触 到 一 本 新 书 或 新 
文章 时 ， 我 可 以 快速 地 评估 其 内 容 属 于 知识 体系 的 哪 一 部 分 ， 它 的 哪些 部 
分 对 我 有 葵 或 无 用 ， 它 的 哪些 观点 与 我 一 致 或 相反 。 这 帮助 我 更 有 效 地 阅 
读 文 献 ， 并 运用 其 知识 。 


单纯 的 阅读 并 没有 完成 学 与 习 的 循环 ， 还 需要 实践 才能 真正 掌握 知识 。 对 
于 读 到 的 测试 方法 ， 我 会 刻意 在 测试 工作 中 运用 ， 通 过 实践 来 评估 其 适用 
范 围 。 对 于 读 到 的 编程 技术 ， 我 会 用 它 编写 有 实际 用 途 的 程序 或 目 动 化 测 
斌 代码。 并 不 是 所 有 方法 部 适合 我 的 项 目 语 境 和 个 人 情况 。 但 是 在 束 之 噩 
阅 之 前 ， 应 该 伦 一 些 时 间 来 实践 它们 。 这 可 以 扩展 眼界 ， 体 会 多 种 流派 、 
思想 和 技术 ， 还 可 以 让 一 些 看 似 不 合 和 常理 却 有 效 的 方法 脱 帘 而 出 。 


10.3 HRA 


经 历 和 经 验 是 两 个 紧密 相关 又 相互 区 别 的 概念 : 经 历 生 一 段 工作 的 过 程 ， 
[经验 是 从 该 过 程 中 学 习 到 的 理论 和 方法 。 从 个 人 努力 的 角度 ， 经 历 只 与 
作 时 间 和 工作 内 容 有 关 ， 它 会 随 着 工作 年 限 而 自然 增长 ,但 是 经 验 则 需 
主动 地 积累 和 反思 。 也 就 是 说 , “两 年 的 工作 经 历 ” 并 不 会 目 动 转化 成 “两 
年 的 工作 经 验 ”， 测 试 人 员 能 力 的 成 长 取决 于 他 如 何 对 每 和 反思 其 实践 。 而 
且 ， 如 琳 他 不 能 及 时 发 现 工作 中 的 坏 习 惯 ， 更 长 的 工作 时 间 只 会 强化 不 民 
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关于 经 验 积 累 与 分 享 ， 软 件 开 发 者 Dave Hoover 和 Adewale Oshineye 在 其 车 
作 《 软 件 开发 者 路 线 图 ， 从 学 徒 到 高 手 》 (Apprenticeship Patterns: 
Guidance for the Aspiring Software Craftsman ) 中 提出 了 一 些 很 好 的 方法 
ae 。 其 中 ， 且 行 且 思 、 记 录 所 学 和 分 享 所 学 也 是 我 一 直 坚 持 的 实 
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一 方面 ， 它 暗示 软件 人 员 的 职业 生涯 是 “漫漫 长 路 *?"， 需 要 坚持 不 懈 地 跋 
W: 另 一 方面 ， 它 指出 持续 的 努力 应 该 伴随 持续 的 思考 ， 执 行 与 反思 缺 一 
不 可 。 有 具体 而 言 ， 专 业 人 员 需 要 建立 对 自己 工作 的 反馈 回路 ， 通 过 定期 审 
视 其 工作 ， 识 别 出 成 功 的 实践 和 失败 的 实践 ， 并 制定 相应 的 改进 方案 。 


在 工作 中 ， 我 将 “上 且 行 且 思 ”和 “记录 所 学 ”结合 在 一 起 。 所 请 “记录 所 学 ” 束 是 
持续 地 记录 自己 学 习 到 的 知识 和 感悟 到 的 想法 。 和 许多 开发 者 一 样 ， 我 同 
时 使 用 两 种 记录 载体 ， 一 个 是 私人 工作 日 志 ， 用 于 保存 个 人 的 想法 ， 一 个 
是 团队 知识 库 ， 用 于 分 享 对 团队 有 价值 的 知识 。 这 意味 着 我 可 以 利用 两 种 


Hal 


AE 


反馈 回路 ， 个 人 记录 帮助 我 诚实 面 对 目 己 的 进步 与 错误 ， 公 开 记录 则 将 经 
验 传递 给 团队 并 接受 更 广泛 的 反馈 。 


图 10-6 展 示 了 我 的 私人 工作 日 志 。 这 是 一 个 A4 幅 面 的 记事 本 ， 用 黑色 的 等 
人 
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图 10-6 私人 工作 日 志 


通常 ， 我 会 在 周末 回顾 一 周 的 工作 ( 且 行 且 思 ) ， 并 将 工作 经 历 和 个 人 感 
N S E 


。 我 测试 了 哪些 功能 ?使 用 了 什么 测试 策略 ? 为 什么 使 用 这 些 策略 ? 哪 
ee ee ne ee 
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我 开发 了 哪些 代码 ? 进行 了 哪些 设计 决策 ? 这 些 决 策 的 依据 是 什么 ? 
哪些 决策 发 挥 了 比较 好 的 效 末 ? 哪些 决策 效 采 不 佳 ? 这 对 今后 的 开发 


工作 有 了 哪些 局 示 ? 


。 我 参与 了 哪些 协作 性 活动 ? 我 的 哪些 行为 推动 了 协作 ? 有 没有 更 好 的 
协作 方法 ? 我 的 哪些 行为 不 利于 协作 ? 我 应 该 如 何 改进 ? 


© 我 做 对 了 什么 ? 该 做 法 为 什么 有 效 ? 它 坚 持 了 什么 价值 观 ， 应 用 了 何 
种 实践 方法 ? 未 来 应 该 如 何 坚 持 ? 


。 我 做 错 了 什么 ? 错误 的 根源 是 什么 ? 我 应 该 如 何 改 进 ? 
。 我 观察 到 什么 有 趣 的 事情 或 现象 ? 这 对 我 有 什么 启发 ? 
。 我 有 哪些 有 趣 的 想法 ? 


我 对 日 志 内 容 没有 严格 的 限定 ， 只 是 宽泛 地 记录 本 周 的 所 行 所 想 。 因 为 仅 

供 目 己 参考 ， 所 以 我 从 不 担心 文字 表达 是 否 条 理 清 晰 ， 尽 管 以 目 己 能 够 理 

解 的 方式 不 断 地 书写 下 去 。 即 便 某 些 页 面 因为 修改 文字 和 补充 想法 显得 有 

ae oe 。 有时， 这 些 改 动 和 补充 恰恰 忠实 记录 了 某 个 想法 
JATTE ° 


软件 大 师 Jerry Weinbeg 是 个 人 日 志 的 长 期 实践 者 ， 他 道 出 了 日 志 的 一 个 重要 
优点 : “不 像 书籍 或 课程 ， 日 志 所 记录 的 一 切 都 与 你 有 天 。 因 为 个 人 学 习 都 
是 私人 的 ， 我 不 能 保证 你 能 学 到 什么 ， 但 是 我 可 以 保证 你 一 定 会 学 到 一 些 
有 价值 的 东西 。”[Bolton07] 我 的 切身 感受 也 是 如 此 ， 日 志 记 录 了 我 的 所 学 所 
想 ， 提 供 了 稳定 且 持 续 的 目 我 反馈 。 除 了 每 周 反 思 和 记录 ， 我 会 定期 读 一 
读 以 前 写 的 日 志 ， 用 新 的 眼光 来 审视 过 去 的 想法 和 决策 ， 用 已 有 的 案例 和 
经 难 来 考察 现在 的 情况 。 该 积极 的 复读 过 程 可 以 梳理 我 的 工作 经 历 ， 并 将 
分 离 的 想法 有 机 地 联系 在 一 起 ， 构 成 自己 的 价值 观 和 知识 体系 。 在 撰写 本 
书 的 过 程 中 ， 我 也 多 次 参考 现 有 的 工作 日 志 ( 共 5 本 ) ， 不 但 获得 了 很 多 资 
料 ， 也 再 次 反思 了 自己 的 工作 方法 。 


通过 “ 且 行 且 思 ”和 “记录 所 学 ?可 以 积累 许多 经 验 ， 这 时 应 该 “分 享 所 学 ”。 在 
日 常 工作 中 ， 我 会 将 知识 和 经 验 分 享 到 团队 知识 库 ， 或 通过 邮件 、 报 告 等 
形式 广播 给 整个 小 组 。 此 外 ， 我 还 会 选择 一 些 有 价值 且 不 涉及 机 密 的 内 
容 ， 撰 写成 文章 ， 发 布 在 我 的 博客 上 %。 


5 我 的 博客 网 址 ， http://cnblogs.com/liangshi/ ° 


在 我 看 来 ， 撰 写 博客 是 很 好 的 个 人 实践 。 首 先 ， 它 是 一 种 学 习 方 法 ， 推 动 
我 更 周详 地 分 析 要 发 表 的 内 容 ， 从 而 获得 只 有 深入 思考 才能 得 到 的 洞察 力 
和 系统 性 。 当 我 目 认 为 已 经 了 解 一 个 主题 时 ， 有 条 理 地 阐述 它 会 暴露 出 我 


原 有 认识 的 不 足 。 为 了 更 好 地 论述 ， 我 会 做 必要 的 研究 ， 包 括 阅读 文献 和 
动手 实验 。 从 这 个 角度 看 ， 撰 写 过 程 本 质 是 研究 过 程 ， 博 客 文 章 是 研究 过 
程 的 目 然 结 果 。 第 二 ， 技 术 写 作 古 一 个 专业 人 员 应 该 具备 的 素质 ， 它 对 书 
面 交 流 和 技术 传播 非常 重要 。 提 高 写作 能 力 的 核心 方法 束 是 多 写 ， 押 写 博 
客 为 此 提供 了 很 好 的 练习 机 会 。 第 三 ， 发 表 博 客 文章 可 以 从 更 广大 的 社区 
中 获得 反馈 ， 并 “以 文 会 友 ” 去 认识 一 些 志同道合 的 朋友 。 例 如 ， 我 和 高 翔 
通过 彼此 的 博客 发 现 双 方 都 对 探索 式 测试 有 浓厚 的 兴趣 ， 于 是 经 常 交 换 意 
见 和 分 至 经验， 目 然 成 为 好 友 。 后 来 ， 我 们 一 起 合作 提 写 了 《探索 式 测试 
实践 之 路 》7 一 书 ， 将 所 学 所 知 分 享 给 整个 中 文 测试 社区 。 第 四 ， 博 客 按时 
间 顺 序 记 录 了 作者 的 工作 历程 。 经 过 一 段 时 间 的 积累 ， 它 不 但 成 为 作者 的 
个 人 知识 库 ， 还 是 他 的 个 人 “名 片 ”， 能 够 有 说 服 力 地 展示 其 技术 能 力 和 思 
考 水 平 ， 帮 助 他 获得 社区 的 认可 。 


7 该 书 主页 : http://cnblogs.com/etbook/ ° 


在 本 质 上 ， 且 行 且 思 、 记 录 所 学 和 分 吾 所 学 的 核心 是 持续 的 反思 和 积 素 。 
这 要 求 测试 人 员 建 立 反 馈 回 路 ， 通 过 各 种 途径 来 评估 目 己 的 行为 和 方法 ， 
并 记录 下 经 验 教 训 和 改进 方案 。 其 功效 并 非 一 朝 一 夕 束 可 显现 ,但 是 集 腋 
成 表 的 积累 会 获得 丰硕 的 成 末 。 


10.4 成 为 专家 


在 测试 职业 发 展 上 ， 测 试 人 员 有 两 条 路 线 :， 成 为 技术 专家 或 团队 领导 。 在 
更 大 的 范围 上 ， 他 可 以 选择 新 的 研发 角色 ， 如 程序 员 或 产品 经 理 ， 其 至 离 
开 软 件 行 业 ， 投 号 新 的 领域 。 不 管 选择 哪 条 道路 ， 他 都 应 该 主动 设 定 目 
标 ， 并 积极 进取 。 本 节 将 简单 讨论 测试 技术 专家 这 条 职业 路 线 。 


首先 ， 测 试 人 员 应 该 成 为 一 名 通才 。 软 件 本 身 的 复杂 性 及 其 应 用 的 广泛 性 
要 求 测 试 人 员 从 多 个 关系 人 的 角度 ， 绕 合 运 用 多 种 方法 实施 技术 调查 。 这 
意味 着 测试 人 员 需 要 超出 当前 任务 范围 去 掌握 大 量 的 测试 方法 。 唯 有 如 

此 ， 当 他 切入 新 领域 或 接 到 新 任务 时 ， 才 能 根据 语 境 开 发 出 有 针对 性 的 、 
注重 实效 的 测试 策略 。 


恰 如 测试 专家 所 说 , “不 要 幻想 只 要 两 个 星期 束 可 以 成 为 柔道 黑 

带 ”[Kaner01]， 成 为 通才 需要 艰 枯 的 努力 和 漫长 的 积累 。“ 书 山 有 路 勤 为 
径 ， 学 海 无 涯 苦 作 舟 ” 一 一 坚持 不 懈 是 职业 发 展 中 一 个 重要 的 (也 可 能 是 最 
重要 的 ) 策略 。 此 外 ， 一 个 有 帮助 的 方法 是 和 完了 解 一 些 框 架 性 方法 ， 以 大 
致 掌握 测试 领域 的 脉络 。 例 如 ， 六 要 素 测 试 分 类 系统 SWS.) 是 测试 
方法 的 分 类 框架 ， 启 发 式 测试 策略 模型 (参见 4.2.1 节 ) 是 测试 设计 的 参考 
框架 ， 启 发 式 测试 计划 的 语 境 模 型 (参见 3.2.1 节 ) 是 测试 计划 的 参考 框 


架 ， 基 于 测 程 的 测试 管理 (参见 3.2.13 节 ) 是 测试 执行 的 框架 。 在 建立 了 理 
论 框 膝 之 后 ， 测 试 人 员 可 以 在 工作 与 学 习 中 不 停 地 累积 具体 的 技术 ， 并 
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一 名 测试 新 人 需要 避免 的 思维 误区 是 用 某 个 职务 头衔 限制 自身 能 力 的 发 
展 。 例 如 ， 我 在 测试 论坛 中 发 现 一 些 测试 人 员 和 党 讨论 “日 使 测 试 工程 
师 >”、“ 黑 盒 测 斌 工程师” 和 “性 能 测试 工程 师 * 等 职位 。 一 部 分 人 认为 它们 是 
相互 排 不 的 ， 即 做 日 盒 工 程 师 就 不 用 考虑 用 户 情 景 ， 做 黑 盒 工程 师 束 不 用 
考虑 代码 实现 ， 做 性 能 工程 师 天 只 要 钻研 性 能 测 斌 工具。 其实， 这 些 名 词 
只 是 某 些 公司 所 设 定 的 职位 而 已 ， 只 代表 他 们 对 工程 师 的 要 求 ， 并 不 体现 
软件 行业 对 高 水 平 测试 人 员 的 期 望 。 实 际 上 ， 国 内 外 的 高 水 平 科技 企业 都 
要 求 工程 师 能 够 独当一面 ， 能 够 独立 完成 一 个 子 领 域 的 大 部 分 任务 。 对 于 
测试 人 员 而 言 ， 他 需要 能 够 独立 完成 一 个 子 系统 的 测试 ， 无 论 测试 活动 是 
盒 测 试 、 黑 盒 测 试 还 是 性 能 测试 ， 只 要 工作 需要 ， 他 就 应 该 有 能 力 完 
成 。 因此， 为 了 长 远 地 发 展 职业 生涯 ， 测 试 人 员 不 应 该 被 尖 衡 所 约束 ， 而 
是 要 积极 地 拓展 自己 的 技术 广度 。 


在 广泛 涉猎 的 基础 上 ， 测 试 人 员 需 要 选 定 一 个 领域 ， 成 为 该 领域 的 专家 。 
这 意味 着 要 了 解 该 领域 的 概念 、 理 论 、 技 术 和 细节 ， 能 够 提出 高 层 的 设计 
方案 ， 也 能 解决 困难 的 具体 问题 。 当 团队 成 员 遇 到 困难 时 会 主动 向 他 咨 
询 ， 他 能 够 快速 地 给 出 答案 。 如 琳 遇 到 菏 个 非 第 困难 的 问题 ， 不 能 立即 回 
答 ， 他 经 过 一 段 时 间 的 研究 ， 能 够 清晰 地 解释 问题 的 根源 ， 并 提供 相应 的 
BRAK: AN, Moneta, FOE ARR, Rae 
然 导出 目前 的 最 佳 方案 。 可 见 ， 专 家 是 该 领域 的 咨询 师 ， 其 声望 与 职务 头 
衡 无 天， 而 古来 日 于 帮助 团队 解决 实际 问题 的 能 力 。 


在 工作 中 ， 我 接触 过 一 些 专家 。 虽然 他 们 有 不 同 的 工作 风格 ， 但 是 仍 表现 
出 一 些 共性 的 特征 ， 为 测试 人 员 的 发 展 提供 了 参考 范例 。 


。 专家 透彻 地 了 解 他 的 领域 。 在 软件 测试 中 ， 有 一 些 领 域 需要 较 强 的 能 
力 和 长 期 的 积累 ， 如 行业 知识 、 情 景 测试 、 安 全 测试 、 国 际 化 测试 、 
性 能 测试 、 测 试 开 发、 调试 诊断 等 。 专 家 会 在 特定 的 一 个 或 儿 个 领域 
中 长 期 投入 ， 积 款 丰 富 的 技术 和 经 验 。 面 对 具体 问题 时 ， 他 们 能 够 提 
供 合理 的 解决 方案 ， 或 给 出 实用 的 建议 。 


。 专家 会 持续 拓展 其 专业 领域 。 在 高 速 发 展 的 软件 行业 中 ， 他 们 会 根据 
项 目 和 职业 发 展 的 需要 切入 新 领域 ， 并 成 为 新 领域 的 专家 。 过 去 的 经 
验 和 成 功 并 不 会 将 他 们 束缚 在 原 有 的 领域 中 ， 相 反 它 们 为 持续 探索 提 
供 了 动力 和 基础 。 


不 难看 出 ， 以 上 实践 并 没有 超越 任务 管理 、 持 续 学 习 、 知 行 合 一 、 且 行 且 
E 
成 绩 
也 可 以 成 长 为 专家 。 这 是 一 条 漫漫 长 路 ， 但 是 耐心 和 坚持 能 帮助 测试 人 员 
稳步 网 上 。 


专家 会 主动 承担 领导 责任 。 技 术 专 家 一 般 不 承担 领导 职务 ， 但 他 们 从 
来 都 十 团队 的 技术 领导 。 其 领导 力 不 古 来 自 于 任命 ， 而 十 来 自 于 强烈 
的 责任 心 、 济 博 的 知识 、 丰 富 的 经 验 和 出 色 的 工作 ， 因 此 它 拥 有 牢固 
的 基础 和 天 然 的 说 服 力 。 在 测试 小 组 中 ， 专 家 会 组 织 具 体 活动 ， 编 写 
相应 的 测试 指南 ， 回 答 测试 人 员 的 问题 ， 并 给 出 专业 的 建议 。 例 如 ， 
安全 测试 专家 会 编写 安全 测试 指南 ， 并 在 团队 知识 库 中 记录 安全 测试 
相关 的 技能 和 工具 。 在 项 目 中 ， 他 评审 所 有 系统 和 组 件 的 测试 设计 ， 
从 安全 测试 的 角度 给 出 有 价值 的 建议 。 此外， 他 会 定期 组 织 针对 安全 
缺陷 的 集体 测试 活动 ， 如 结对 测试 、 组 队 测 试 、 头 脑 风 骏 会 议 (参见 
7.3.3 节 ) 等 。 在 此 过 程 中 ， 他 与 小 组 成 员 一 起 测试 ， 现 场 演示 方法 和 
工具 ， 讲 解 其 原理 和 技巧 ， 帮 助 他 人 更 好 地 实施 安全 测试 。 


专家 会 主动 将 自己 的 工作 和 知识 分 享 给 团队 。 专 家 拥有 民 好 的 书面 表 
达 和 口语 表达 能 力 ， 能 通过 团队 知识 库 、 技 术 报 告 、 电 子 邮件 、 专 题 
讲座 、 口 头 交 流 等 形式 传递 知识 。 此 外 ， 他 会 主动 选择 并 开始 一 个 技 
术 项 目 ， 在 取得 切实 进展 后 ， 将 阶段 性 成 末 报 告 给 测试 小 组 。 这 些 成 


记录 所 学 、 分 享 所 学 的 范畴 ， 只 是 专家 的 努力 付出 获得 了 令 人 赞叹 的 
。 这 表明 测试 人 员 萤 循 相同 的 原则 和 方向 ， 通 过 研究 、 实 践 和 反思 ， 


10.5 ”小结 
人 
法 。 


时 间 管 理 的 本 质 是 任务 管理 ， 即 为 一 组 任务 制订 合理 的 计划 ， 然 后 有 
效 地 执行 ， 并 动态 地 调整 计划 。 


应 该 把 所 有 任务 信息 集中 在 一 个 地 方 ， 以 便 随 时 参考 和 修改 。 


ES a A 
Ue 


高 效 工作 的 第 一 步 古 保持 专注 。 


E a a 
法 。 


。 错误 会 当 费 大 量 的 时 间 ， 认 真 把 事情 做 对 能 节省 时 间 。 


。 人 恰到好处 的 文档 化 和 自动 化 能 够 用 较 小 的 代价 呈现 切实 可 行 的 解决 广 
案 ， 有 助 于 如 免 错误 ， 节 省 时 间 。 


。 学 习 的 本 质 是 “知行 合 一 ”， 是 吸纳 、 实 践 、 反 思 的 循环 过 程 。 
。 通过 工作 来 学 习 项 目 或 领域 最 需要 的 技能 ， 有 事半功倍 之 效 。 


。 测试 人 员 需 要 超出 公司 业务 和 软件 测试 ， 来 扩大 自己 的 知识 储备 。 对 
此 ， 坚 持 阅 读 是 一 个 基本 方法 。 


。 为 了 从 实践 中 获得 更 多 ， 测 试 人 员 要 且 行 且 思 、 记录 所 学 、 分 孚 所 


+f 


。 测试 人 员 应 该 同时 拓展 其 技术 能 力 的 广度 和 深度 ， 成 为 通才 和 专家 。 
。 坚持 不 懈 是 职业 发 展 的 基础 性 策略 。 
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